顏良陣前與文丑大醉的消息傳到青州，袁譚更是大怒，下令撤回顏良，自己親自領兵攻打冀州。
顏良本無心於文丑對決，於是也很樂意撤走。
而袁譚見顏良沒有一點愧疚，心裡很是怒火，於是削去顏良的青州兵馬大元帥一職，命其為濟南太守。當時的濟南不如今日之濟南，之時青州的一個小縣城。
袁譚手下的軍師郭圖知道顏良的勇武勸袁譚不要因一時之氣，而貶低人才，袁譚本是有勇無謀之人，只顧著一時的火氣，那裡管你的從長計議，顏良也不說這麼，領著一支親信，前往小城濟南。
袁譚親自監督高唐關前的攻城士兵，下令三人之內，一定要攻下高唐關。
但是高唐關由文丑守著，無論如何也攻不下來。
袁譚見手下諸將束手無策，不禁大怒，親自到關前。
「文不俊，先主待你不薄，你為何背棄先主的遺言，跟隨逆賊？」袁譚與關前指著城上的文丑大喊。
文丑之前也有些耳聞，先主遺言讓大公子繼承袁氏大業，如今聽的大公子的發問，自知理虧，不敢說話。文丑一向十分感激袁氏的提攜之恩，當然十分的原意追隨先主的繼承人，但是自己身為鄴城太守，又隸屬於冀州，而袁尚正好是自己的上司，響應也是出於無奈，畢竟少公子也是先主的骨肉。
「文不俊，你倘若記得先主的恩情，就開關讓我等通過，我將不記前嫌，攻下冀州後，命你為冀州兵馬元帥！」袁譚見文丑默默不已，想著是被自己的話語說動了，於是又補上一句。
「大公子，文某雖然感激先主的恩德，但是身為鄴城之守，隸屬於少公子，也屬無奈，還親大公子見諒。」文丑心裡很是矛盾，倘若是別人，自己一定領兵出去，把攻關之人殺個精光，但是偏偏是大公子，而如果自己放他過去，高唐關失守，少公子那裡又不好交代。
「好，你就跟著那個叛賊吧，我就在這裡攻城，你要是有本事就殺了我！」
袁譚見文丑沒有投降的跡象，大怒，親自領兵攻高唐關。
要是其他人攻關，文丑一聲令下，關上的弓弩就如下雨，急退關下的軍士，但是如今大公子就在關下，倘若自己下令，誤傷了了大公子，自己就是死了也無法與先主交代，只好命令嚴守，不得放箭。
這高唐關本來不是十分的險峻，依靠弓弩防守，而弓弩又不得放，很快就守不住了。
不到一個時辰，袁譚的攻城車，就擊破了關門，高唐關破。
即使關破，憑著文醜的蓋世武功，也可以挽回，但是文丑依然害怕傷到大公子，只好下令撤回高唐城。
袁譚則乘勝追擊，直到高唐城下，被呂曠領兵截住，才沒有前進。
顏良已被袁譚貶到濟南，袁譚手下並無強將，呂曠覺得是時候讓文丑落魄了，於是修書一封，把文醜如何讓袁譚進來的情景一五一十的告訴了袁尚，並表明自己與高唐城共存亡。
袁尚見顏良已退，文醜的價值也沒有了，於是貶文丑為河間太守，比濟南更小的一座縣城。而呂曠的做法令他大為振奮，又派援兵三萬到高唐城，阻擋袁譚的攻擊。
周圍的曹操、劉備皆虎視眈眈，而河北的袁氏兄弟卻自家打的不可開交。
顏良、文丑這兩員大將都是曹操、劉備所忌憚的，如今卻貶到小城做太守，曹操恐怕樂的都開花了。
貶了兩員大將也就算了，兩兄弟為了擊敗對方，在前線堆積的兵力那是越來越多了，剛開始，都還沒有抽動防守曹操、劉備的駐軍，但是隨著前方戰事的膠合，為了取得先機，陸續把各路守軍都調往了高唐前線。
螳螂捕蟬黃雀在後，兩兄弟各投入幾十萬軍隊，打的是不可開交，誰都不讓誰。
直到徐州劉備乘勢奪回北海城地消息傳來，袁譚才才從夢中驚醒。
諸葛亮一退再退，都是為了避開袁氏的鋒芒，保存實力，等待時機。
如今袁譚把駐防北海的十萬守軍都調往了高唐，只留下一萬老弱病殘，這樣的機會誰都不會放過，何況諸葛亮呢。北海本是魏延的駐地，請戰的激情最高。
諸葛亮命魏延領兵三萬，只一天，就拿下北海全境。