严格而言，客卿毕竟是局外人。所谓旁观者清，对于日益腐败的清政府，除了每天工作18个小时的疯狂做事外，赫德自然有很多话要说。在他早几年还年轻气盛的时候，他不揣冒昧地对整个中国的改革提出了自己的全盘意见，这就是30岁的赫德在1865年上给总理衙门的折子《局外旁观论》。

　　赫德在《局外旁观论》里开宗明义地指出，“矮人之于长人肩上所见，必远于长人”；而旁观者“敢抒所见，或效一得之愚”。

　　既然是局外旁观，则首先得对局势作出判断。赫德说，“中华情事，一曰内情，一曰外情。今日之外情，系由前日之内情所致；而日后之内情，亦由外情所变。”这是点明了国内问题和国际局势的关系。

　　内情如何？《局外旁观论》几乎说得清政府体无完肤。政治上：“尽职者少，营私者多”。财政上：“官之下取于民者多，而上输于国者少”。军事上：军队“平时拉弓举石，只讲架式，股肱怠惰，止得养鸟消遣”。“兵勇之数，动称千百万，按名排点，实属老弱愚蠢，充数一成而已”。知识界：知识分子“书籍非不熟读，诗文非不精通，使之出仕，而于人所应晓之事，问之辄不能答”，“一旦身居民上，安能剔弊厘奸”。

　　赫德建议实行“民化而兴国”。所谓“民化”者，即“外国所有之便，民均可学而得；中国原有之好处，可留而遵”，“国民雨沾其益，愿学者皆能学”。所谓“兴国”者，“中外来往日多而敦好，外无多事之扰，内有学得之益”，即可兴邦。最终是要在国内整顿“旧例”，在外交上采取“召见、派使、会制。召见无损，派使自护，会制富民”。在遵守和约的情况下，“必致（列强）欣悦，无事不助，无时不合。盖万国往来，向来各国让各国之事，中国若不让，各国必不服。若让而做万国之友，其地广大，其民众多，文义均通，安分务工，止有国政转移，无难为万国之首”。

　　尽管洋务派也认识到上述问题，但是他们对于赫德的主张并没有认真考虑。后来赫德还提过多个建议改革的方案，内容涉及财政、税收和军费等各个方面。他对洋务派筹备北洋海军带来的改革后果充满希望：“随着造船而来的，是对煤铁的需要，然后是开采中国的矿山，然后是铁路、电报、铸币厂，最后是这个国家所需要的各种改良和改组。……（海军）是一粒种子，它可以发芽、含苞以至开出我刚刚所说的那些花朵。”

　　赫德发现对于中国的全面事务他并没有什么影响力，便转而精心试验他的中国海关改革，通过海关体制的改革，推动中国的改革。

　　海关的改革或者说近代中国海关体制的建立，几乎完全出自赫德之手。仅就海关人事制度改革而言，他就采取了如下措施：在人才的选拔上，他一改任人惟亲的中国式传统，通过考试选拔人才。对于海关职员，他进行了专业分工，以做到各司其职。同时实行考核制度，奖惩有据。为防止腐败和提高职员工作积极性，他采取了高薪养廉，实行养老储金的制度。是为中国首创。

　　赫德的若干革新措施，具有很久远的超前性和现代性。比如，他规定公务员不得经商，实行轮换和回避制度，给予职员申诉权等等。但赫德从不甘心其角色仅限于海关事务。他很关心中国的外交事务，并且促成了当时中国第一批外交使节的派遣。比如第一个游历性质

　　的中国使团斌椿使团的出游，第一个正式的中国使团蒲安臣使团的出访，第一个常驻外国使节郭嵩焘的出使。

　　此外，赫德管辖下的中国海关首先开办邮政。赫德促请张之洞上《请办邮政片》，经光绪批准后，总理衙门正式上《议办邮政折》。光绪二十二年(1896年)，赫德拟订开办中国邮政章程，总理衙门即据此奏准。邮政正式成立，赫德任总税务司兼总邮务司，以天津海关为中心，在北京、营口、烟台和上海五个海关来试办海关的邮政。中国第一套邮票“大龙票”就此诞生。1911年以后，中国的邮政才从海关中独立出来。