1813年，伍秉鑒登上首席行商的位置。此後數十年，他一直居於行商的領導地位。1817年，當廣州的港腳貿易提供了3/4的英國進口貨時，中美貿易總額也首次超過了英國東印度公司對華貿易的總額。與美國商人的合作成為解讀伍秉鑒的重要事件。當時很多行商明知道商船裝運的是鴉片，卻仍然給予承保具結，伍秉鑒也不例外。1818年他因承保運載鴉片的美國商船「華巴士」號，被罰160000兩白銀。到1820年，美國的私商貿易已經超過英國東印度公司貿易，鴉片則超越合法貨物成為進口的主要貨項。
伍家毫無疑問是一個頗有爭議的家族，一方面有著19世紀世界首富之一的榮耀與光鮮，另一方面是串通外商、勾結官府、販賣鴉片、私運白銀的齷齪與灰暗。伍秉鑒財富人生灰色的一面，與王直、李旦等走私海商沒有什麼兩樣。
與以往山西、徽州商人將剩餘資本用來置地蓋房不同，伍秉鑒已經具備國際投資眼光和現代商人的特質，他投資於美國的鐵路、銀行、保險等多個行業，儼然一位跨國投資財閥。伍秉鑒也與旗昌洋行簽訂合同，在美國做實業投資，條件是美方要把每年的利息支付給他的後裔。他通過旗昌洋行的福布斯家族，先後投資了美國的密歇根中央鐵路、柏林敦鐵路和密蘇里河鐵路。約翰·默裡·福布斯進一步將伍家的基金使用於建立美國股票投資公司，以及包括如阿爾巴尼和波士頓礦業公司的投資。
1840年6月28日伍秉鑒給約翰·默裡·福布斯去信說：「我在美國和歐洲擁有大量基金，這些基金你必須盡可能謹慎管理，保證其安全，並讓它產生利潤；在英國商業確定以後，把我的所有基金以孟加拉的硬幣或賬單的形式，送回我的朋友——旗昌洋行那裡。」
有資料表明，伍家在美國投資的利息，每年達20餘萬兩白銀。當旗昌洋行於1891年宣佈破產，約翰·默裡·福布斯成為伍氏家族的受托人時，記錄顯示，旗昌洋行擁有屬於伍氏家族100萬多美元的受托基金。伍秉鑒還通過巴林洋行投資美國鐵路和其他項目，讓其子伍崇曜在其死後可以收到定期的效益。1858~1879年，伍氏家族似乎收到了125萬多美元的紅利。
美國學者穆素潔博士根據伍秉鑒寫給他的美國經理人的50多封信件，發現了伍秉鑒與世界溝通的渠道。這些信件現在收藏在哈佛大學貝克爾圖書館。葉顯恩在《世界商業擴張時代的廣州貿易（1750~1840）》一文中對此有詳盡的介紹。
19世紀初，伍秉鑒販茶到歐洲，租用的是美國貨船。1833年，伍秉鑒代旗昌洋行的合夥人約翰·P·庫欣販茶到漢堡，租用的是普魯士貨船。鴉片戰爭期間的1841年11月21日，他給已經從廣州回到波士頓的庫欣寫信說：「4月和5月，我把價值約100萬美元的茶葉用船運到紐約和倫敦，我認為有希望取得好的結果。」
兩天後他在寫給羅伯特·福布斯的信中，則說他正將三四百噸的茶葉裝船運往荷蘭。信中還透露以前販運的商貨，已經取得約50%的利潤等。
在印度方面，伍秉鑒曾通過在廣州營商的印度帕西商人默萬吉·馬尼克吉·塔巴克等，在印度建立其商業網絡，還與印度孟買商人莫霍馬達利·阿利·羅蓋，以及以澳門為基地的達達布霍伊·拉斯托姆吉等，也有商務往來。尤其是詹姆塞特吉·吉吉博伊，作為伍氏在孟買的代理商，他經營有方，到19世紀30年代初已在印度建立了獨立的貿易網絡。
1842年4月24日的一份賬單顯示，受伍秉鑒之托，詹姆塞特吉購買珍珠後送到旗昌洋行，所需的款項他提出可用孟加拉政府的7000盧比支付。如果不夠，再請旗昌洋行代墊。他還受托在印度和英國經銷中國的絲和肉桂，並要求把在倫敦經銷絲貨所得的款項歸入加爾各答的英國東印度公司賬目中。
如果說泉州走私商人李旦、鄭芝龍建立起了輻射東亞、東南亞的貿易網絡，那麼伍秉鑒則建立起了中國與太平洋的美國、印度洋的印度、大西洋的歐洲之間龐大的世界性貿易網絡，只不過，他只是其中的一分子而不是支配者。
俗話說，和氣生財，伍秉鑒就是這樣一位人物。他性格謙恭順從，甚至有人認為他膽小如鼠、懦弱無能。林則徐下令禁煙時，曾要求洋商無條件上繳所有在廣州的鴉片，如果不順從，就要將伍秉鑒等兩名行商就地正法，有商人說伍秉鑒當時「嚇得癱倒在地」。
這個瘦瘦小小甚至醜陋的人，既聰明，又誠實。他在給一位美國商人寫信時說：「我們被迫出資修建堡壘、建造戰船、製造大炮，所承受的巨大負擔對我這把可憐的老骨頭來說實在是有些沉重。」
鴉片戰爭使伍秉鑒損失大約200萬美元。其中，第一次鴉片戰爭後，《南京條約》涉及商欠的外商款在300萬銀元，他一人承擔了100萬銀元。1831年，清政府對商欠實施國家干預，對不奏報粵海關的借貸行為，不予法律保護，而且不允許這種借貸關係保持3個月以上，否則承擔連帶責任。
李遠江在《世界首富伍秉鑒的末路人生》一文中這樣描述死前的伍秉鑒：
1842年12月23日，他寫信給在馬薩諸塞州的美國友人J·P·Cushing說，若不是年紀太大，經不起漂洋過海的折騰，他實在十分想移居美國，通篇愴然難禁之情……
1843年9月，風燭殘年的一代世界首富伍秉鑒，在內憂外患、謗頌不一中，於龐大宏偉的伍氏花園裡，溘然長逝，終年74歲。
也有說法認為，伍家的怡和洋行做的是正經生意，茶葉貿易是伍家最主要的業務，但作為具保的行商，伍家對私帶鴉片現象視而不見卻是事實。這讓人們對伍家頗有不滿，從當時人們給伍家人所起的幾個諢號中，可以看出一二。
因機警狡詐、冒險成性，人們送怡和洋行的查頓「鐵頭老鼠」之稱。伍秉鑒的諢號是「伍穿鰓」，以其有一齒穿露於頰外為意。十三行同順行商吳健彰，則被取號「賣雞爽」（吳商名為爽官），因其曾市雞為業。吳健彰發家於鴉片販賣，與伍家後人一樣，他在1843年11月上海開埠後，與諸多洋行一起北上，成為十三行商人中屈指可數的將生意和事業從廣州延續到上海的人。吳曾在英美等國的支持下，被清政府任命為上海道台，又兼江海關監督，後鎮壓小刀會起義，並參與了對太平天國起義的鎮壓。
伍秉鑒死後，嶺南名士譚瑩曾撰碑文說，「庭榜玉詔，帝稱忠義之家；臣本布衣，身繫興亡之局」，內外形象的評判形成鮮明反差。
伍家後代中有一人名叫伍廷芳，他在新加坡度過了一段童年時光，後到倫敦學法律，是倫敦許可在香港法庭開業出庭的第一個中國人。在1882年李鴻章請他到天津時，伍廷芳已經是香港大名鼎鼎的律師。
1856年，第二次鴉片戰爭期間的一個深夜，具有170年歷史的廣州十三行商館被民眾一把火燒成了灰燼。這個濃縮了近代中國海上外貿商人最後輝煌的群體，這個毀譽參半難以在鴉片貿易中獨善其身的群體，徹底退出了歷史舞台。
南太平洋大撤退
14~17世紀是中國海商由盛而衰的轉折期。之前的7~14世紀，中國與阿拉伯地區的貿易構成了國際貿易體系的主幹。
從9世紀中葉開始，中國的經濟、文化中心逐漸向東南轉移。儘管一直面臨北方好戰民族的侵擾，宋朝的航海史仍達到了一個高峰。宋政府鼓勵富豪打造海船，購置貨物到海外經商，為了引導商船與官船，還在海岸線上建了價值昂貴的燈塔導航系統。宋高宗更是親自尋求商人協助組成了一支艦隊，這支艦隊足以向波斯與阿拉伯商人在印度洋上長期掌握的商業霸權挑戰。自此，中國進入海外貿易的黃金時代。
南宋時期，中國擁有了印度洋上最好的船舶，直接將操縱在伊斯蘭教徒阿拉伯人手中的海上貿易掌控權奪了過來，但這種局面在1390年埃及馬木路克王朝建立後被打破。馬木路克王朝扼紅海之口，執行壟斷香料貿易的政策，在西亞阻斷了歐亞商人的直接往來，埃及的開羅成為伊斯蘭世界的中心，中國商人被迫撤出西印度洋。
以鄭和下西洋為標誌，明朝時的中國建立和完善了朝貢貿易圈，並試圖在南太平洋建立一個以中國為軸心的體系。除永樂帝時介入了安南內政而出現了相持20年的戰爭，這個以政治威懾力和經濟輻射力為前提的朝貢貿易體系，維繫著這一區域的政治與經濟平衡。
日本是游離於這個體系外的一個另類。1592年，日本大舉入侵朝鮮，並制訂了進攻中國的軍事計劃，甚至任命了佔領中國的各級官員。在這種情況下，明政府作出了援朝的決定，舉全國之力與日軍在朝鮮苦戰7年，敗多勝少，最後日軍因為統帥豐臣秀吉病死而撤退。
此戰使得中國（與日本相比）曾經擁有的絕對優勢下降，不過，試圖謀求東亞霸權的日本對朝貢體系造成的衝撞，仍被明朝朝貢貿易體系自身所存在的修復系統縫合。
從1511年葡萄牙人侵入馬六甲開始，中國朝貢體系就面臨著一次次的被撬動。1514年，第一艘葡萄牙船繞過非洲好望角，沿著鄭和下西洋和中國南方與印度洋帆船貿易的航線，駛抵廣東。到達不久，他們就強佔海島，盜竊行旅，掠賣人口。
1553年，葡萄牙租佔了澳門。隨後，西班牙（1575年）、荷蘭（1601年）、英國（1637年）、法國（1698年）、美國（1784年）的船隻，先後闖入中國東南沿海。最初的闖入者利用了中國走私貿易既有的網絡，但當國家力量與海上武裝走私力量合一，也就是官方利用海盜鉗制海盜，再將海盜招安而取得預期效果時，對付那些入侵的力量對於國家來講還是小菜一碟。
荷蘭、西班牙對台灣島有過短暫的佔領，但鄭芝龍家族的存在，讓任何對中國貿易的覬覦都只能留做念想。用張麗、駱昭東在《從全球經濟發展看明清商幫興衰》中的話說，明政府和中國海商鄭芝龍的一次偶然合作，成就了中國海商對中國南海貿易長達半個多世紀的壟斷。
無論是海禁時的海盜集團，還是對外貿易開放時的海外移民，這種由分居在東南亞及東亞的僑民群體組成的民間貿易網絡，一度以相互補充的形式，與朝貢貿易體系一道有效抵禦了外來商貿勢力對朝貢體系的肢解，但這種抵禦又慢慢被「默視的屠殺」所侵蝕。
1603年，西班牙馬尼拉當局屠殺了2萬多中國僑民，他們怕明政府興師問罪，就向漳州地方官員探聽口風，得到的答覆是，「勿容畏懼」，「多系不良之徒，亦勿容愛憐」。明政府對這一事件的不恰當處理，助長了西班牙當局多達4次的用屠殺來解決與中國僑民對商業貿易網絡佔有的潛在爭端。
一個極壞的後果也由此造成，中國移民構建的由馬尼拉前往澳門等處的貿易網絡被打破，這等於封鎖了中國移民與中國的鄉土乃至貿易聯絡。1639年的最後一次屠殺，直接造成中國南方的對外貿易據點由菲律賓的馬尼拉撤退到了本土的澳門和廣州。
繼葡西商人之後，荷蘭、英國等國商人亦躋身對華直接貿易以圖分一杯羹，里斯本—好望角—果阿—馬六甲—澳門貿易航線的西端從里斯本擴散到了多處港口，但東端一直集中在澳門。直到鴉片戰爭爆發，歐洲各國對華貿易商始終沒有找到一處足以取代澳門的中轉港口。
早在16世紀末，英國伊麗莎白一世就曾兩度遣使致書萬曆皇帝，備言兩國通商之利，但沒能送達。1635年，英國考亨商會組織了一支船隊強行駛入珠江，但仍未能與明政府建立起正式的貿易關係，因為明政府只允許藩屬國憑勘合入中國朝貢。
1717年，清政府發現，每年出海船隻千餘艘，「回來不過十之五六，其餘悉賣在海外」，並認為「海外如呂宋、葛喇吧等口岸多聚漢人，此即海賊之藪」，於是禁止中國商人的南洋貿易。這等於清朝退出對南洋海上貿易的角逐，將商利拱手相讓，於是東歐國家逐漸完成了對中國外圍朝貢圈的又一輪侵蝕，天朝大國的朝貢體系正向縱深撕裂。
17世紀初，荷蘭商人以海盜的角色闖入中國南海。繼西班牙人之後，1740年荷蘭人對巴達維亞的中國僑民舉起了屠刀，是為「紅溪事件」。這次事件造成中國商人從巴達維亞的回撤。每一次回撤，都意味著殖民商人把殖民據點移向中國本土，中國商人的商業版圖日漸萎縮。