伴隨著上海的崛起，從廣東輸往上海的，最惹眼的不再是貨物，而是一群叫「買辦」的活生生的人。
上海開埠前，廣東人販賣到上海的貨物，以砂糖為大宗，紅木、香料、染料（蘇木）也不少。當時中國的食糖集散中心就在浙江嘉興乍浦。
從廣東到上海的商船被稱為「估船」，一個月能往返一趟，上海商人則用「沙船」把本地棉花、布匹運往廣東，其次是陶瓷、茶葉。據統計，鴉片戰爭前，上海每年從閩粵運進糖約50萬擔，染料和物品12萬擔，運往閩粵的棉花、茶、絲等物在20萬~30萬擔。糖的價值，達數百萬兩銀子，是一種大宗交易。滬粵間的棉糖對流，是這兩個區域間的傳統貿易內容，一直持續到清末。
在晚清四大買辦中，除席正甫（1838~1904）是江蘇人外，其他三人——唐廷樞（1932~1892）、徐潤（1838~1911）、鄭觀應（1842~1921）都來自廣東香山，他們成為這個時代最具亮點的買辦。
為什麼是香山？
在歷史上很長一段時間內，香山與包圍它的伶仃洋一樣默默無聞。直到南宋，香山才有了縣的名分，它的管轄範圍就包括現在的中山市與澳門特別行政區的全部。
宋末文天祥一首《過零丁洋》為後人傳誦，伶仃洋（即零丁洋）之名才為世人所知。到明朝時，香山依舊「其地最狹，其民最貧」。16世紀中期葡萄牙人租占澳門之後，香山成為中西文化交匯的前沿之地。
為什麼中國早期的買辦大多數來自香山？可以說，一部葡萄牙的殖民澳門史，就是香山多出買辦的最大註解。香山人從什麼時候開始充任中外貿易中的買辦，目前還沒有定論，但葡萄牙是最早試圖與中國通商的殖民國家，卻是不爭的事實。
1473年，當明孝宗器重的大臣劉大夏和項忠建議廢止下西洋、拆散艦隊、焚燬鄭和航海檔案時，葡萄牙人的航海活動方興未艾。
1415年，葡萄牙人在北非摩洛哥建立了世界上第一個殖民據點，揭開了近代殖民主義的序幕，接著西班牙、法國、英國、荷蘭、丹麥、瑞典等國家也開始了全球性的殖民活動。
之後，葡萄牙出現了一位偉大的王子亨利。他一心一意地投身於航海事業，不僅遠離了豪華舒適的宮廷，而且放棄家庭生活，終身未娶。他創立了航海學校和天文台，讓葡萄牙的航海事業蓬勃發展。
1498年，葡萄牙航海家達·迦馬成為從歐洲繞好望角到印度航海路線的開拓者，實現了歐洲人夢寐以求直接到達印度的願望，開闢了歐洲至亞洲的新航線。
在1502~1524年，達·伽馬又兩次到達印度，後一次被葡萄牙政府任命為印度總督。達·伽馬通航印度，促進了歐亞貿易的發展。在1869年蘇伊士運河通航前，歐洲對印度洋沿岸各國和中國的貿易，主要通過這條航路進行。這條航路的通航也是葡萄牙和歐洲其他國家在亞洲從事殖民活動的主要條件。
1509年，葡萄牙艦隊在印度洋上打敗阿拉伯人，終結了阿拉伯人對印度洋、紅海和波斯灣的控制。至此，葡萄牙人完全掌握了印度洋的海上霸權。1511年，葡萄牙人佔領馬六甲，壟斷了印度洋和西太平洋的海上貿易。
1514年，葡萄牙人第一艘航船來到廣東屯門島，與當地商人貿易，獲厚利而回。之後，葡萄牙人就以馬六甲（1511年已為其佔領）為基地，多次派船隊到廣東沿海活動。當他們得知中國的「貢舶貿易」都是薄來厚走後，也想擠進這一行列，但當時沒有葡萄牙進貢的先例，所以廣州官府就不允許他們這樣做。他們就擅自在屯門島蓋起房子，並不時「剽劫行旅」和拐賣人口，激起了廣東軍民的憤怒。1521年葡萄牙人被逐出屯門，之後一再碰壁，葡萄牙人於是轉而向北，銷聲匿跡於廣東沿海。
1540~1548年，葡萄牙人與日本人，以及明朝以徽州人為主的海盜商人結伙，一同糾集在舟山群島上的雙嶼島；1549年在明朝東南沿海抗倭鬥爭中葡萄牙人又被逐出福建海界；在1550~1553年，葡萄牙人完成了上川—浪白澳—澳門的貿易基地的過渡。
澳門當時叫壕鏡澳，歸香山縣管轄，是南海諸國貢舶貿易船的臨時停泊點之一。像這樣的臨時停泊點，廣東沿海有將近10個，來朝貢的番船入珠江口前，必須先在各澳接受澳官檢查。
1552年，第一個耶穌會傳教士到達澳門，未能進入中國內地便病死。1553年，葡萄牙買通廣東海道副史汪柏，「託言舟觸風濤縫裂，水濕貢物，願暫借地晾曬」，從而得以入居澳門。葡萄牙人初時也是搭建暫住式草棚，後澳官因受賄賂，不僅不命其撤去，而且默允他們運磚瓦木石，修建永久性的住房。如此房屋越建越多，在四五年時間內，澳門便初具城市規模。
葡萄牙商人因控制了日本、馬尼拉和歐洲的貿易航線而趾高氣揚，無視廣東政府的法令，從事走私活動，許多葡萄牙的船隻到處在沿海停泊，全不理會中國官吏一再提出的反對抗議，中國對這些船隻無法徵收船鈔和關稅，但偶有船隻被拿獲，這些葡萄牙人便囂張地反對地方長官，詭辯說他無權懲罰私商。這種爭吵的結果是中國封閉了廣州（1631年），不許葡萄牙船隻入口，崇禎十三年（1640年），明政府正式宣佈禁止葡萄牙人進入廣州貿易。
儘管浙江寧波，福建漳州、廈門等閩浙地區的商人，曾在明末的一個世紀內與葡萄牙、西班牙、荷蘭等國家商人，或以合法身份或以走私形式打過交道，但這種交道因明政府與海盜持續不斷的戰爭而斷斷續續。雖然買辦也在這期間出現過，但並沒有形成足以傳承和延續的空間和環境。
1577~1842年，葡萄牙除1685~1717年和1724~1760年外，大部分時間都以其租借澳門的獨特優勢，以澳門作為廣東外貿的中轉港身份，獨攬著中國對外的貿易往來。1842年，中英《南京條約》簽訂，香港被英國佔領，中國開放廣州、福州、廈門、寧波、上海五口通商。從此以後，澳門的外貿完全衰落。1887年，葡萄牙通過中葡《北京條約》攫取了對澳門的「永駐管理」權，直到1999年12月20日澳門回歸。
葡萄牙依托澳門的200多年的合法而較為穩定的壟斷貿易，使得廣州府理所應當地成為中國最早出現買辦群體的地區。廣幫買辦又以香山人居多，這與葡萄牙先於西班牙、荷蘭、英國等國與中國貿易有關。當時澳門歸香山管轄，香山與澳門這種先天的聯繫，決定了香山是中國最先接受歐風美雨洗禮的地方。
容閎，1828年11月出生於香山縣南屏鄉，幼入澳門西塾讀書，14歲入讀澳門馬禮遜學校，後隨校遷香港就讀。1847年該校校長布朗帶他就讀於美國馬薩諸塞州孟松學校。1850年，容閎考入耶魯大學，1854年畢業，獲文學學士學位，成為該校有史以來第一位畢業於美國高等學府的中國留學生。
容閎以留學事業先驅的角色而在中國歷史上佔有一席之地。1870年他與曾國藩、李鴻章第二次聯名上奏，選送幼童赴美留學。這一計劃在第二年獲得清政府批准。1872~1875年，清政府先後送了4批共120名學童赴美留學。其中，40名為香山縣幼童。
在當時的社會觀念下，官員不願把自家子弟送到國外去，民間更有關於西洋的種種不祥傳說，以至於第一年容閎在上海竟湊不足第一批30個名額的學生，他只好回老家香山去動員鄉親，最終成行。這第一批30名幼童中包括後來任北洋大學校長的蔡紹基、滬寧鐵路和滬杭鐵路總辦鍾文耀、清華學堂的首任校長唐國安、民初外交部長梁如浩及其親家──中國第一任共和制內閣總理唐紹儀，而後三人都來自香山唐家村。
中國第一位共和制總統孫中山也是香山翠亨村人。他在籌辦中興會時，曾得到同鄉鄭觀應的關照和黃詠商的擁護。作為香港第二位華人議員黃勝的兒子，黃詠商還是香港興中會的臨時負責人。舒式在《風起伶仃洋，中國最早的「海歸」》一文中這樣寫道：
西風吹到了伶仃洋，香山人睜開眼睛，隱約看到了外面的世界。宋玉的《風賦》中有一名句：「風起於青萍之末。」留學風改變了中國，而香山與伶仃洋正是那風起之處。
作為晚清中國發展最快、規模最大的通商口岸——上海，便成為香山人謀求發展的重點城市。上海社會科學院熊月之估計說，在1853年以前，上海有廣東人8萬，其中廣肇幫最多，潮州幫其次，雷欽惠梅幫最少。在廣肇幫中，香山人最多，人數有兩萬多，從而奠定了香山買辦勢力在上海的影響。
買辦之鄉
「買辦」一詞是葡萄牙人「Comprador」（康白度）一詞的意譯，原意是採買人員。清初，買辦專指為廣東十三行外商服務的中國公行的採購人或管事，後來逐步發展為特指被中國的外商企業所僱用的居間人或代理人。
買辦，從本質上講是經紀人，是中國經紀人和經紀業發展史上的一個特殊的階層。按照當時廣州府的規定，一艘外國商船到廣州來，必須先在澳門靠岸，船主在那裡從左堂衙門聘請引水、通事和買辦，才能開往廣州。
通事為外國商人向粵海關辦理納稅和進口手續，買辦則供應船上人員的伙食、代雇碼頭搬運工人、代購日常必需物品。買辦必須領取政府頒發的執照，外商才能聘用他。
1832年瑞典人龍思泰在其所著的《早期澳門史》中記述：「一個人要在廣州籌辦一家商行，必須先找一名買辦……他對商行的內務有總的監督權，按僱主的願望介紹其他僕人，購買食物及日用品等。」
此時的買辦事實上是洋行的總管、賬房和銀庫保管員、大班的機要秘書，他們被禁止從事進出口貿易，活動範圍也僅限於廣州一地，但鴉片戰爭讓這一切成為過去。
五口通商後，英國人可在上海、寧波等各個口岸交易，特別是1844年《中美五口貿易章程》後，外國商人僱用買辦，中國地方官不得干預，於是，一批廣東買辦伴隨上海開埠通商，跟隨洋商來到上海。他們起到了中外貿易輪軸的作用。