1907年，清廷在東北廢除將軍制，建立行省，徐世昌被任命為東三省總督。上任伊始，就組織力量剿滅胡匪，在官軍圍追堵截下，大小匪幫或降或亡，清廷對徐世昌的政績大為讚賞，但遼西巨匪杜立三拒不投降，卻使徐世昌寢食難安，大為頭痛。為消滅杜立三，徐世昌特令張作霖前往剿匪，張作霖認為這又是他立功陞官的好機會，機不可失，於是十分賣力，他不費吹灰之力就設計誘殺了杜立三，喜出望外的徐世昌立即奏報朝廷為張作霖請功，張作霖被朝廷賞銀5000兩，並提升為奉天省巡防營前路統領。不勝感激的張作霖進省來向總督謝委，徐世昌命督署總參議周樹模代見，閒聊中周問他：「你為什麼願意受撫？」張作霖不假思索地說：「回稟大人，我想陞官發財！」回答得乾脆明確。
辛亥革命爆發後，張作霖奉東三省總督趙爾巽之命率部進軍奉天城，鎮壓革命黨，殺害新軍，其間，張作霖派人暗殺了革命黨領袖張榕等人。在袁世凱竊取革命果實上台之後，張作霖被任命為陸軍二十七師中將師長，就這樣一躍而為正規軍的高級將領，獨霸整座奉天城，奉系軍閥在這裡發跡。張作霖利用政治軍事手段當上了東三省巡閱使，成為名副其實的「東北王」，統一了東三省，作為與段祺瑞的皖系、馮國璋的直系三足鼎立關係的奉系軍閥，成為北洋軍閥三大派系之一。
逐鹿中原
招安後的張作霖剿匪得力，又被派到洮南一帶，剿除那裡的蒙古叛匪。當時有人記載：「洮南一帶系乾燥的草原，草有一二尺高，一望無邊。夏日蚊蟲甚多，大者如蜜蜂，叮人很厲害。雖在夏天，都得用棉花把頭包上，否則寸步難行。狼群更多，一群就是十幾條。當時隊裡的通信人員往往被狼吃掉，剩下馬跑回來……蒙古軍隊都是一個人乘兩匹馬，騎一匹，備一匹，力量足，跑得也快。所以說，張作霖清剿蒙匪不是一件容易的事情。」而且這些蒙匪「擾害邊疆，至數年之久，此剿彼竄，滋蔓難除，國家視為巨寇」，張作霖智取和強攻兩種策略並用，終於扭轉局面。東三省總督徐世昌看到張作霖的兵力不足，於是給他擴編，這樣張作霖的隊伍增值3500人，成為東北響噹噹的一支勁旅。張作霖見得到徐世昌的青睞，更加吃苦耐勞，身先士卒，終於解除了危害邊疆多年的匪患。
清政府懼怕張作霖發展，曾調兵數萬人，幾次圍剿，都以失敗告終，只好下旨招安，封張作霖為新民府三營統領。張作霖則繼續招兵買馬擴充勢力。清王朝覆滅後，袁世凱竊取民國大權，張作霖被奉為中華民國第二十七師中將師長，獨霸奉天。張作霖野心勃勃，欲問鼎中原，在第二次直奉戰爭中爬上中華民國陸海軍大元帥的寶座。
張作霖率領奉系軍閥三次入關，逐鹿中原，參加軍閥混戰。到第二次直奉戰爭奉係獲勝時，奉軍控制了北京政權，進入張作霖領軍的鼎盛時期。可是連年的窮兵黷武，致使東北三省的生產遭到破壞，社會動盪，民不聊生，全國掀起反奉運動。
有個性的奉天督軍
凡是一流的人物，都很有些手腕，也很有一些性格。張作霖就是很典型的一例。張作霖出身草莽，然而，竟能統領東北十餘年，進而兩度問鼎北京直到最後坐上北洋政府的末代元首的寶座，其人的長處就是他身上鮮明的個性和脾氣。在張作霖擔任奉天督軍的時候，一次正趕上春節，張作霖視察下面的機構。結果因為一些事情給耽擱了，等張作霖去的時候已經是大年三十的下午，機構裡很多人都回家過年去了。本以為會吃閉門羹的張作霖發現門沒鎖，裡面還有人在工作，原來有一個小辦事員在那裡抄抄寫寫的，這個辦事員姓趙，家裡很窮，又在農村，回去一次不容易，而且費用大，所以這個小辦事員就索性不回家了，在辦公室練練毛筆字。
正趕上張作霖來，張就問他為什麼不回家，他就把實話說了，張問他為什麼練字，他說這裡很多的東西都要給大帥以及其它官員看，字寫的不好，上司就不會滿意的。張作霖聽完連說「好小子」，之後就走了。過了幾天，張作霖問秘書長，說你們那裡是不是有一個寫字很好的小伙子？秘書長當時就蒙了，說回去查一查，沒查到。張作霖就把那天的事說了，這樣，才找到這個姓趙的人，張作霖說要見一見這個人，把姓趙的小伙子嚇壞了，他不知道那天見面的竟然是督軍大人，先是吃了一驚，然後就渾身不自在起來，張作霖當著秘書長的面就說：「這小子是好小子，給他安排個好缺分。」督軍說話，秘書長當然照辦，這個姓趙的後來一直做到黑龍江稅務局局長，這是一個肥缺。後來張作霖還經常拿他做例子教育手下的官員，因而，這個姓趙的一直官運亨通，肥得流油。
張作霖訂下了很多規矩，誰不按照要求做，張元帥就會大怒，大發脾氣。有一次，張作霖帶著隨從打獵回來晚了，大約晚上11點多，按照他訂的規矩城門已經禁止開了，張作霖的隨從到城門口叫城上的人開門，說是大帥回城了，城上的一個值班的軍官是新來的，做事認真，剛來的也不知深淺，只知道按規矩辦事。當時就告訴城下的人：「大帥有令，夜間禁止開門，違令者殺。」城下的人說：「現在是大帥回來了，打獵回來得晚了，你先開門，大帥在這裡呢。」那個姓李的軍官，根本聽不進去，還甩下一句狠話：「就是大帥親自叫門，我也不開！」張作霖聽了副官的稟報就只好在城外過夜了。
第二天一早，軍法處處長於芷山就把這個姓李的軍官帶到張作霖的辦公室，這下，姓李的軍官知道闖了大禍，他估計沒開城門惹怒了大帥，剛一見到張作霖就跪下連說：「大帥饒命。」張作霖一反常態親自把他扶起來，讓他坐下，還讓人給他倒了杯茶。張作霖說：「你小子不賴！能把我的命令記得這麼牢，好樣的，像你這樣把城門，一個壞人也進不來！我和於處長說這樣的好小子，咱可不能委屈了！這樣，你當監獄長吧，替大帥我看管犯人去！」這個姓李的軍官一聽忙說：「大帥不計較，小的就已經很感激了，怎麼敢去當監獄長？小的不是那塊料啊！」張作霖一聽，哈哈大笑著說：「老子能當大帥，你小子就能當監獄長，老子說你能當就能當。」左右都聽出張作霖這話有點「失言」，但是誰也不敢糾正。於是，姓李的軍官被派到奉天陸軍第一模範監獄任副典獄長，一直做到奉天警務處處長。
綠林學校
張作霖名聲大噪，成為奉系軍閥首領以「奉張」稱雄於北方叱吒在民初的政治舞台。窮苦出身的張作霖最不願意被人提及早年落草當「鬍子」的經歷。在袁世凱任總統時他是海陸軍奉天大元帥，他身邊的軍官大多是名校畢業，隨便誰拿出的文憑學歷都叫得響，只有他是土匪出身。有一次，張作霖出席宴會，一些軍官便以文憑、學歷來戲謔他。當時的臨時政府國務卿徐世昌首先對參謀總長段祺瑞說：「卑職是光緒進士，段老弟你呢？」段祺瑞回答道：「卑職與曹錕老弟同是天津武備學堂畢業。」直隸都督兼總統府軍事處長馮國璋接著自我介紹道：「卑職是北洋武備學堂畢業。」還有一些軍官也介紹了各自的高等文憑。這時只有張作霖不吭聲。輪到張作霖講話了，面對眾人奚落嘲諷的目光，張作霖暗自生氣，可又沒法開口說自己沒文賃，土匪出身。這時張作霖看到了桌子上的酒杯，他眼珠一轉來了主意：只見他抓起一個玻璃酒杯，猛地向空中拋去，「噌」地拔出腰中手槍，「砰」地一聲，那被拋在空中還沒有墜地的酒杯就被打個粉碎，聲音脆響，玻璃四濺。全場人都被嚇得目瞪口呆，鴉雀無聲，不知所措。張作霖摸摸腦袋，哈哈大笑道：「就是這個學校畢業的！」經過這一事之後，再也沒有人敢嘲笑張作霖的出身了。
其實與當土匪的短暫時間相比，張作霖當官的時間更長——主動受招安後即成了清軍的中級軍官，清朝覆亡前他已經是堂堂的「關外練兵大臣」。說起張作霖的醜事不是他的出身，而是他在武昌首義後的鎮壓「亂黨」之舉，本來他在遠離省城的奉天前路巡防營作統領，聽聞省城有革命黨人行動後，星夜趕至奉天城鎮壓，並因此而立足省城，成為擁兵自重的關外軍閥。在鎮壓中殘忍殺害的包括李大釗在內二十之多個革命黨人。
「睡臥美人腕，醒掌天下權」張作霖的顧問本莊繁加回國省親時，曾要張作霖題字留念，張作霖要本莊繁次日來取，後送這一幅聯。這個「鬍子」出身的沒什麼文化的軍閥有著非同尋常的政治眼光。
寸土不讓
這位「鬍子」出身的一代「胡帥」也並非是一無是處的，他治軍有方，同是土匪出身的民國著名軍人張宗昌投靠奉張，張作霖對其極好，甚至供他賭錢。身強體壯的張宗昌憑借自己驍勇善戰，成為大帥手下的猛將。 但是張宗昌為人大大咧咧，毫無顧忌。他從黑龍江回來見大帥，還沒到大帥的辦公室就大喊：「老爺子，效坤回來了……」話音未落，只見張作霖拍岸而起大罵道：「出去！你是軍人嗎？媽拉個巴子，當在家裡呢！給我重進！」嚇得這位山東大漢出了一身冷汗，目瞪口呆，馬上原地立定、向後轉、邁步退出，然後，在門口回身舉手敬禮並喊：「報告！張宗昌到！」待裡面發話後才規規矩矩進屋聽訓。
而張作霖對付日本人的辦法也別具一格，一次出席日本人的酒會，酒過三巡，一位來自日本的名流力請大帥賞字，他知道張作霖出身綠林，識字有限，想當眾出他的醜。但張作霖抓過筆就寫了個虎字，然後題款，在叫好聲中，擲筆回席。那個東洋名流瞅著「張作霖手黑」幾個字笑出聲來。隨從連忙湊近大帥耳邊提醒，「大帥寫的『手墨』的『墨』字，下面少了個『土』成了『黑』了。」哪知張作霖一瞪眼睛罵道：「媽那個巴子的！我還不知道『墨』字怎樣寫？對付日本人，手不黑行嗎？這叫『寸土不讓！』」在場的中國人恍然大悟會心而笑，日本人則目瞪口呆。這個「寸土不讓」的故事也一直流傳到現在，正是因為這些生動活潑聽來過癮的故事讓張作霖的名字在東北的黑土地上家喻戶曉。
張作霖是個很圓滑的人，日俄戰爭時期，他左右幫忙，又左右打擊。弄得無論是沙俄還是日本，都不敢得罪他，當然，他也因此得罪了雙方。日俄戰爭期間，他周旋於清廷、日本和俄國三者之間，應對自如。對於朝廷的「中立政策」他持陽奉陰違的態度，對於惡鬥中的日俄雙方則採取雙管齊下、投機取巧和從中漁利的立場。經歷了複雜環境磨煉的張作霖，練就了一身同時對付幾個敵人的本領。
其實張作霖與孫中山的關係也非同一般。孫中山曾接受過張作霖的襄助，孫中山也曾派兒子孫科與汪精衛等要人趕到東北為張作霖祝壽。在北京，病中的孫中山還曾前往張作霖的住處拜會。作為回訪，張作霖派張學良到中山先生下榻處探望，垂暮之際的中山先生的那番「你們東北地處紅白兩個帝國之間」的無比英明的論斷，就是那次在病榻上闡述的。
民國十四年，1925年冬，日本關東軍參謀長借郭松齡起兵反奉之際主動接近張作霖，提出可以出兵阻止郭軍前進。張作霖寧肯逃亡也不依靠日本人，於是說：「如果郭軍逼近省城，我打算赴旅順或大連暫避，屆時當請幫忙。」齋籐乘機將事先打好的五項要求拿出來，讓張作霖簽了字。五項要求的主要內容是允許日本人在東三省和東蒙地區同中國人完全一樣，享有自由居住與經商的權利，並將間島地區的行政權移讓日本人。