李鵬萬畢竟不同於那些不學無術，每日鑽營官場的六部九卿，學識的淵深和與生俱來的善良品質，都讓他自感難以適應大清惡濁的官場。尤其是爾虞我詐且又處處充滿險惡的朝廷高層，對於素以國家社稷與天下黎民為重的李鵬萬來說，如履薄冰。他感到京官難做，有些高處不勝寒。
清同治四年（1865年）夏天，李鵬萬奉命巡視河南。一路上，他發現荒野哀鴻，枯草乾枝，一場百年不遇的特大旱情正在席捲著中原大地。出身於粵東的李鵬萬做夢也沒有想到，古來素有中原糧倉美稱的河南地面竟然一片荒蕪。而河南大地恰恰就是李鵬萬的祖籍。當他看到被祖輩描述為中原糧倉的故土，如今竟然因旱災而哀鴻遍野的時候，李鵬萬不禁為之落淚，甚至為之憤怒。他在中原巡視期間，一路上所見災民如蝗，饑饉到極致的鄉民大多以枯樹朽枝和野花殘草為糧。但再看當地的朝官：人人酒池肉林，花天酒地。兩相對比，無疑形成了鮮明的對照。這一切，尤其讓李鵬萬激憤難忍。當他回到故里許昌的時候，所見景況更讓他為之震怒。一面是鄉間百姓的民不聊生，一面是當地朝官對他的百般奉迎。面對當地官員的阿諛，李鵬萬曾經當面拍案指斥，並當場罷免了幾個在他職權範圍內可以廢黜的官員。然而，李鵬萬畢竟無權解決河南境內大批朝官的貪贓枉法問題。於是他回到京城之後，向慈禧遞上了一道親筆條陳，要求重罰嚴懲，甚至罷免河南一批重要貪官，以保證民間百姓不被天災塗炭。
但是慈禧在接獲李鵬萬所上的條陳以後，批閱中對其所用之詞過於激烈暗生反感。尤其是河南幾位朝官多年與朝廷保持的良好關係是不容李鵬萬指責的。李鵬萬並不瞭解真情。原來，這些河南官吏在慈禧眼裡都是自己的愛臣，因為慈禧太后每年的壽辰之日，大多是他們不惜財力地進貢。這些頗得慈禧愛護的高官，豈能像李鵬萬條陳中所說的那樣虎狼成性，魚肉民間？如果這種充滿激詞怒語的條陳系普通朝官所上，慈禧太后也許會因此而怒責下去，處以貶官的嚴懲。可是，李鵬萬畢竟是兩年前在紫禁城文華殿內以妙文獲得慈禧欣賞的文官菁英，所以慈禧只將此奏折退回了軍機處，並沒有給李鵬萬治任何罪名。不過，李鵬萬卻因為這一條陳毀了自身的前程，從此再也沒有受到慈禧的重視，坐上了冷板凳。
此後幾年中，李鵬萬雖然還在京為官，卻很少得到慈禧的召見。之後同治皇帝駕崩，光緒皇帝登基，李鵬萬始終鬱鬱終日，不得重用。
光緒初年，李鵬萬還希望慈禧再度重用自己，卻發現自家官邸內外到處都有可疑的監視者。他再看慈禧親政以來殺人如麻，許多在咸豐時代有功於朝廷的高官，只因違逆了慈禧的聖意，一個個輕則遭到貶官，重則被綁赴菜市口長街梟首示眾。李鵬萬深知自己繼續在京為官，非但不能對大清朝政和黎民百姓有所貢獻，搞得不好，還要厄運加身。於是他在光緒五年秋天，以生病為名，向慈禧遞上一道懇請回歸鄉梓養老的條陳。慈禧雖然從內心對李鵬萬有些記恨，但畢竟愛其道德文章，接到他的請辭後，還曾遣人前往他的住處進行挽留，但是對晚清官場早已深惡痛絕的李鵬萬退意已決，哪還有留京之心？於是李鵬萬於光緒六年（1880年）冬天，掛冠而歸，回到闊別多年的故里潮州。就是從這時起，李氏家族離開了生活多年的海陽縣，遷往當時的通衢大鎮潮州定居。這時的李氏家族更加煙火繁盛，憑借祖上餘蔭和李鵬萬做過京城大吏的影響，李氏兄弟在潮州地區仍是功德無量的名門望族。李鵬萬的膝下有二子，一為長子李起英，二為次子李曉帆。李鵬萬在兩子之中，尤其喜愛次子李曉帆。
書生後代不守舊
大清王朝的腐敗讓李鵬萬極為厭惡，可是，他的功名思想並沒有改變。在當時的歷史條件下，他認為如果讓子嗣更有造就，唯一的成才之路只有像他一樣繼續攻讀，「萬般皆下品，唯有讀書高」是他的至理明言。刻苦讀書，然後參加歷年的鄉試，最後考取功名。次子李曉帆被李鵬萬視為可以繼承其衣缽的最佳人選。
當年，李曉帆並不是李鵬萬的首選之人，他曾經一度寄厚望於長子李起英。李起英從小受到父親的耳提面命，非常刻苦。李鵬萬前往京城為官期間，就把李起英帶在身邊，希望他也能接受京城的文化氛圍，將來為進入官場做準備。後來李鵬萬發現一入京門深似海，大清朝官在晚清時期幾乎人人都貪污，個個都賄賂。李鵬萬自此方感後悔，原來朝官集聚之地，儼然是一隻偌大的可怕染缸。如果再讓愛子繼續生活在天子腳下，豈不是要誤其一生？當初李鵬萬情願放棄收入頗豐的京官不做，毅然決然地返回粵東老家，這也是一個重要的因素。