清朝的海關是一個被逼出來的機構。自明朝後期以來，中央政府執行的就是「片木不得下海」的閉關鎖國政策，所以，不需要海關，也沒有多少外貿的稅收。鴉片戰爭之後，隨著通商口岸的開闢，自然就有了設立關卡的必要。在1843年簽訂的中英《五口通商附粘善後條款》中，英國人提出由他們來管理「來往之商人，加意約束」，所收得的稅金用來支付戰爭賠款。朝廷官員一聽就同意了，反正都是外國人的錢，收進來再付出去，好像是無損帝國的買賣，於是就有了讓外國人管理中國海關的制度。1846年，在上海外灘（現在的外灘漢口路）出現了一個用鑄鐵柵欄圍起來的大院子，門口蓋了一個中國式的牌樓，上寫「江海北關」，專門辦理外國商人的進出口稅務。1858年，朝廷又准奏在廣州設立了第二個海關。
赫德是第二任海關總稅務司。他19歲就來到了中國，先在寧波、廣州領事館當翻譯，後來被聘為廣州新關的副稅務司。他操一口流利的漢語，為人自製圓通，而又熟悉中國官場禮節和士大夫的習氣，因此深得大臣們的讚揚。他跟當時最重要的滿人大臣恭親王奕、文祥等過從甚密，特別跟後者的關係竟形同密友。1863年，28歲的赫德被任命為總稅務司，在這個職位上他一口氣干了漫長的48年。
隨著對外貿易的擴大，原本不起眼的海關居然在不到20年的時間裡成為帝國最重要的經濟機構和財政來源之一。就在赫德上任的時候，總稅務司署所轄新關已達14處，幾乎遍及所有重要的通商城市，僱用洋員400人，華員約千人，已是一個很龐大的行政部門了。海關稅收在1861年達到496萬兩，1871年為1121萬兩，到1902年已達到3000萬兩，是中央政府最穩定、可靠的財源。在建關的前五年，海關就為清政府償還了《北京條約》規定的1600萬兩英法賠款。在太平天國戰亂時期，海關為朝廷支付了巨額的財政支持，赫德甚至親自參與了對常州的攻克戰役。他跟李鴻章並肩騎馬站在高坡上，目睹戈登的「常勝軍」攻進城門。
海關在名義上歸屬總理衙門管轄，但實際上，從人事到運作管理，全部操於洋人之手。海關主權的旁落，是清政府無能最突出的證明，也是一個主權國家的恥辱記錄。不過具有諷刺意味的是，在委靡腐敗的晚清行政體系中，赫德管理的海關卻是最有秩序和效率的一個機構。他引進了英國的整套行政管理經驗，無論行政組織、人事管理還是徵稅章程都置於一個嚴格、統一的管理體系之內。海關的財務制度是由英國財政部官員制定的，數十年裡很少發生舞弊行為。各部門的主管人員，一般都有較高的文化水平，有的還是博士、碩士。清朝官員的俸祿很低，主要收入都是依靠職權濫取於民，因而形成無數的官場陋習。海關實行西方的公務員薪金制度，待遇很高，但不能額外支取費用。
經濟學家楊小凱在《百年中國經濟史筆記》中評論說：「過去的很多史書都指稱清朝賣國的證據是將海關權利讓與外人，其實這種指責是不準確的政治宣傳。清末海關雖由英國人赫德管理，但他是作為清政府的僱員行使他的職權。他的管理不但使中國海關迅速現代化，而且使海關成為最有效率、最少貪污的清朝官僚機構。他保證了條約制度對關稅率的限制，因而促進了自由貿易及公平稅收，他也保證了用有效率的管理和制度為清朝政府提供大量稅收。」參與主編《劍橋中國史》的美國華裔學者劉廣京的觀點也與楊小凱近似，他認為：「赫德管理海關的最大貢獻是促進了中國商業的發展，杜絕了清朝腐敗制度下貪官對海關的擾亂。」
在將近半個世紀的漫長歲月裡，赫德一直是一個搖擺的「中間人」：他一方面是英國等列強的利益捍衛者，竭力為它們在中國的利益最大化不懈努力；另一方面，他也為中國的重振出謀劃策。
作為一個清政府的「官員」，赫德對朝廷的改革也很有自己的主張。1865年，在當上總稅務司兩年後，他呈遞了一份名為《局外旁觀論》的報告。他以「旁觀者」的身份提出了一系列改革建議，包括整頓地丁、鹽課、稅負，改革官吏俸祿制度，改進軍事設施等等。同時，他分析了清政府面臨的國際環境，提出派遣外交人員等建議，還提出要加快採用鐵路、電報以及機器採礦等西方新技術。日後來看，這是一份十分有遠見的報告，除了沒有提出君主立憲的政治改革主張之外，它幾乎涵蓋了後來洋務運動、戊戌變法的所有變革內容。總理衙門一方面認為這個外國人對王朝有「輕侮」的嫌疑，不過同時也承認「所陳內政外交各種利弊，無不談言微中」。恭親王還把他的報告轉發給各地的督撫，令他們「詳慎籌劃，不可稍涉疏略，是為至要」。
在後來的幾十年裡，赫德多次上書改革方案，在保存至今的赫德日記中時常可見他對中國前途的擔憂與無奈。1883年，他在日記中寫道：「我現在不像過去那樣為中國煩惱了……是因為我麻木不仁了？反正這條殺不死的巨龍會經受住一切的。」1902年，「庚子國變」後，流亡的慈禧太后回到北京，對列強卑躬屈膝。這讓赫德都有點看不下去了，他說：「朝廷在禮儀方面做得有些過分，皇太后不僅要接見公使夫人們，還要接見各使館的孩子們。」
除控制關稅之外，赫德的手還伸到了很多有關中國主權的其他業務領域。1896年，他獲准由海關辦理郵政業務，到1903年，設郵政總局33處，轄分局309個，全國省城除蘭州外都通了郵路，這成為中國郵政體系的雛形。此外，海關還兼管了海務、港務、檢疫、引水、氣象等事務，甚至還辦理專利、版權及商標註冊等等。在赫德的治理下，海關成為一個地位極其重要、涉足範圍驚人廣泛的機構。到1906年，海關的擴張終於引起了中國官員們的警惕。在大臣們的一再抨擊下，朝廷下令成立獨立的稅務處，開始逐漸削減海關的特權。晚年的赫德儘管還受到足夠的尊重，但是他的權力顯然已經在不斷縮小。然而，清政府直到滅亡，也沒有能夠收回關稅自主權，甚至到民國最初的十多年裡，海關的治外格局仍然沒變。一直到1928年的南京國民政府成立，才通過艱難的談判，把海關稅務的徵收和保管權收了回來。不過，海關總稅務司的職務仍是由英國人或美國人擔任，這一情況一直持續到1949年。
赫德於1908年離開中國，不過他的總稅務司頭銜一直被保留著。他在中國前後生活了54年，這幾乎就是清政府最後掙扎的時間。他似乎已經很難分辨自己到底是中國人還是英國人了。1911年9月14日，他給自己的繼任者安格聯（FrancisAglen）寫信說：「我的身體一直很不好，日益衰弱，所以我擔心再也回不到中國了……中國人是很善良的，心胸寬大，能很好地一起共事，不要催促他們，要一步一步地來，你就會覺得前進很容易，目標最終可以達到。」6天後，他就去世了，再過20天，武昌爆發了辛亥革命。
77歲的赫德終於沒有看到他服務了半個世紀的清政府的滅亡，這也許是上天對他的最後一點賞賜。