民國7年的湖南戰爭，使吳佩孚成為一個了不起的人物，也是他一生事業的開始。
吳佩孚字子玉，是山東蓬萊人。幼年父親去世，依隨母親長成。曾應登州府試，得中第27名秀才。他如何由秀才投軍的呢？據說當了秀才的吳佩孚在登州染上了鴉片煙癮，常到煙館中抽上了兩口，當時登州有一個大土豪名叫翁欽生，有一天翁獨個兒在煙館「雅座」中抽煙打磕銃，恰遇吳上煙館，普通坐上客滿，無法插足，可是煙癮大發，乃悄悄跨入「雅座」，正遇翁欽生在休息，驚擾了翁的好夢，翁用鄙夷的眼光呸了一聲，伸起了腿對吳就是一腳，大叫說：「滾！」吳一言不發，紅著臉退了出來，心裡越想越氣，把這遭遇偷偷告訴了登州的幾個流氓，大家同意要找翁的麻煩，在翁老太太做壽的一天，流氓們假拜壽為名，大鬧壽堂，把翁家搞得天翻地覆，事後翁告到州府去，吳佩孚便和那群流氓逃出了登州。
吳在故鄉不能立足，便逃往北京，在北京崇文門外巾帽胡同隆慶棧投宿，這家隆慶棧是山東蓬萊人開的，店主姓孫，看見這個窮秀才甚是可憐，但念在老鄉份上，讓他住下，並且要幫他的忙，問他會做些什麼，吳說：「我什麼也不會，只會寫春聯，」孫老闆說：「寫春聯沒有用，一年到頭能寫幾多，還是算命的好。」
於是吳秀才便在崇文門外搭起課棚來，以六爻卦餬口，飯雖有得吃，可是吃得並不飽。有一天，來了一位操蓬萊口音的人來問卜，吳佩孚拱手說：「老鄉，你問的啥事？」來人笑著說：「老弟啊，怎麼你連你堂哥哥都不認識了？」吳仔細一看，果然是多年不見的堂兄吳亮孚，他鄉遇骨肉，不由自主地流下了辛酸淚，吳亮孚說：「我昨天打這裡路過，見你端坐課棚，真沒想到你中了秀才卻落到這等模樣，好吧，咱們喝兩杯去吧。」於是吳收起了課棚，隨著堂兄到一家杏花村小館子，兩兄弟一邊喝酒，一邊細訴衷腸，吳亮孚說：「兄弟，你怎麼落到這般模樣？」吳佩孚乃把自己在登州的事，以及到北京後人地生疏，謀生困難，不得已才擺攤課命種種，一五一十地告訴了堂兄。吳亮孚一邊勸酒，一邊歎息，最後用十分誠摯的語氣說：「兄弟，算命既不能餬口，更沒有前途，聽我說，人要往高處爬，你念過書，中過秀才，可是做官大概沒有你的命，依我看不如去投軍，你如果投筆從戎，不是我當面奉承你，八年十載你不出人頭地才怪呢，我們吳家像你這樣人還沒有第二個，趕快收拾起課棚，要零錢花用我這兒拿。」說著便從身上掏出幾錠銀子拿給吳佩孚，吳接了銀子感動得哭了起來。
就這樣，蓬萊秀才遂投筆從戎，燒了課棚去參軍了。
吳秀才在堂兄鼓勵下，於光緒廿四年投入天津武衛前軍（統領是聶士成）帳下，因體弱只補了一個戈什哈，庚子年武衛前軍潰敗，吳佩孚遂流浪到保定，光緒廿八年六月十三日再回天津，投巡警營，仍任戈什哈。巡警營文案師爺郭緒棟有一天無意之間發現這個戈什哈很有學問，極為賞識，就向他的上司段芝貴吹噓，保送吳入開平武備學校，入校後吳因太過文弱，常被德籍教官責其姿式不合，罰令躺在地上，用槍壓在身上以示儆。
這一時期，最賞識吳的是郭師爺，郭常對人言：「子玉前程無量，將來出將入相，我們都得仰仗他。」他和吳磕頭拜把子，每逢週末便在二太太戈氏家中請吳大吃一頓。戈氏曾向吳取笑說：「你大哥老說你能做大事，我看你和咱們娘兒們一樣，怎能上戰場呢？」後來吳佩孚虎踞洛陽，戈氏隨丈夫在洛陽吳的帳下，常對她手帕交說：「我想起當年對大帥取笑的那些話，今天真不好意思見他。」
吳在開平武備學校因體力關係改入測量科，光緒廿九年四月，日俄戰爭之役，中國人多幫助日本與帝俄作戰，袁世凱也在軍官學校中挑選了一批年輕優秀學生，隨同袁的日籍顧問守田赴滿洲擔任諜報工作，日俄戰後，吳佩孚調派第三鎮上尉見習員。光緒32年升任第十標第一營督隊官（當時營長呼為管帶，營附即為督隊官）。這年冬天升為管帶。光緒33年吳率全營駐軍關外。
有一天，吳赴北京領餉折回長春，剛下火車，迎面來了一個熟人，正是冤家路窄，來的不是別人而是曾經欺負過他的翁欽生，翁在長春開了一家旅店，前來料理店務完畢，準備南歸。吳一手把翁拉住，翁頗覺驚訝，不知這位軍官是誰，定睛一看，嚇了一跳，眼前這位軍官竟是多年前被自己趕出登州的吳秀才，他舌頭和嘴唇都大了起來，話也說不出口，囁嚅地說：「吳秀才，你。」吳哈哈大笑，一邊抓住翁不放，一邊說：「真巧，他鄉遇故知，住幾天再走。」翁聽了更嚇死了，趕快說：「有事要上大連非走不可，下次來長春再來拜望。」怎知吳執意不放，揚頭叫了一聲衛兵來，把翁老闆行李送到營盤，然後便不由分說地拉了翁就走走。翁面色蒼白，拖著千斤重的腳步跟了吳管帶走出火車站，一邊走一邊想：「當年一頁舊怨，今天狹路相逢，吳秀才變了吳管帶，不挨揍五十大板才怪呢！」
那一邊吳拉著翁走時，心中也在沉思，吳的想法正和翁相反，他想如果不是眼前這個人逼我離開山東家鄉，我至今最多不過還是個窮秀才，與春花同落，與秋草同腐，幸而被他一迫，我才投車，才有今天，應該好好招待他。於是他把翁拉到營盤慇勤話舊，盛筵招待，並且請他帶信回家。吳自離別山東，他的家鄉還是第一次知道了他的消息，是他的仇人翁欽生回家時逢人宣揚：「吳秀才做了管帶了，在長春，還請我吃飯，他真是個了不起的人物！」
吳駐軍長春期間，由於翁欽生回到蓬萊，吳的家中才知道這位落拓秀才已經得意關外了。不久吳便派人回家，把老太太、太太李氏和兄弟文孚都接到長春，寄寓張家火店，這屋子是吳的督隊官（營副）張福來替他物色的。吳和李氏住耳房，老太太和文孚住正房。店主人張家有位大姑娘，名叫張佩蘭，長得肥頭大臉，不美不醜，因兩家往來較熟，所以張家姑娘便拜吳老太太為乾媽，從此便認吳管帶為乾哥，乾哥乾妹問暖噓寒，較之親兄妹尤有過之。日子一久，男女之間便情不自禁地墜入愛河了。
吳手下有一位隊官（連長）牛起順是天津人，早已窺破吳的隱情，有一天便直截了當地對吳說破他和張家姑娘的好事，並願自告奮勇去向張家說媒，把張家姑娘嫁給吳管帶做二房，張家滿口答應，於是在外邊另租小公館，準備先瞞著吳家這邊的婆媳二人。怎知就在管帶結親這天，突然老太太和兒媳還有吳的兄弟文孚一起來了，這三人都是怒氣衝天，吳管帶賠了許多小心，道了許多不是。牛起順和吳文孚不只是惡言相向，而且拳腳交加。雖然喜筵變做戰場，可是生米已成熟飯，最後只得不了了之。
在宣統年間吳所隸屬的第六鎮改為第三鎮，第三鎮可算袁世凱北洋軍的基本隊伍，統制（師長）先後曾由馮國璋、段祺瑞、段芝貴、鳳山、曹錕等擔任。民國成立後第三鎮改為第三師，仍由曹錕任師長，調駐南苑，為了袁世凱不肯南下就大總統而受制於革命黨，因此曹錕乃發動「兵變」，使老袁有借口而婉拒南下。北京兵變時，吳佩孚已升任炮兵團長，由娘子關移駐長辛店古廟中。民國2年二次革命後，袁以湯薌銘督湘，令曹錕以長江上游總司令名義率第三師駐岳州為之聲援。吳以團長左遷為師部副官長。副官長一席雖然重要，可是吳是個有大志的人，對於副官長一職頗為鄙棄，認為這是一個馬弁頭，任職者以巧言令色為必要條件，呼之為牛不敢為馬，吳既不屑為，而他的長官也覺得他頗不稱職。
有一天，長沙有一個團體開會，湯督軍率各軍將領出席，吳代表第三師師長致詞，湯督大為動容，對吳非常賞識。後來曹錕到長沙拜會湯薌銘，湯向曹說：「三哥，你手下有一個了不起的人才，請你借給我好不好？」曹問：「是誰？」湯說：「就是你的副官長吳子玉。」曹唯唯而退，他平日佩服湯會識拔人才，見湯賞識吳，回到岳州就把吳提升為第六旅旅長。曹錕為人不求甚解，但他能接受別人的好意見，其嫵媚可愛處在此，他破格提升吳為旅長後，事無鉅細都加以咨詢，吳由此得意於第三師。
吳佩孚駐軍岳州時期，頗能謙和容士，常和湖南士紳過從，他能作詩，又能文，又是秀才出身，治軍又嚴，部下軍風紀甚好，這許多條件使他受到地方人士的愛戴，有一位飽學鄉紳王某對他尤好，因此有一天王某曾向他進言說：「外人常說湘人排外，其實這是不知湘人的皮毛之見，湘人重氣節而輕死生，北軍如果以征服者姿態高壓湘人，則楚雖三戶，亡秦必楚；倘以合作手段厚結三湘豪傑，約束士兵不許妄取民間一草一木，則湘人必翕然心服。」吳佩孚聽了頗為動容，日後他在湖南便以此為政治信條。
民國4年袁世凱稱帝，蔡鍔唐繼堯舉義雲南，袁調曹錕率部援川，暗中派他監視陳宦。迨帝制失敗後，5年7月第三師班師保定，曹錕調升直隸督軍，吳亦隨軍北歸。6年解散國會及張勳復辟，曹與段芝貴、李長泰等隨段祺瑞平亂，不久段對湖南用兵，曹遂與張懷芝分任兩路軍司令，吳遂代理第三師長，兼任直軍的統帥。
吳雖文弱，但會用兵，且不怕死，早年臨陣往往頭裹青布，騎一駿馬，身先士卒。湖南之戰他即表現出勇猛本領，馬不停蹄地衝入岳州，再下長沙，直趨衡陽，前後為期不過三月，一路勢如破竹。
第三師第五旅長張學顏在師部中資格頗老，當吳升任第六旅長時，張學顏頗為不悅，對人云：「子玉區區馬弁頭耳！今竟和我分庭抗禮，將來難保不爬在我的頭上。」他說這話不到一年半，吳果然代理第三師長，成為張學顏的頂頭上司，張更為不滿。第五旅入駐湘潭時，張學顏以旅長名義出示安民，吳聞張擅發佈告，大為光火，乃召張聽訓，張推說抱病，吳遂自往第五旅旅部訪張，責張不應以旅長名義出示安民，張學顏忿然說：「你是代理師長，你不出面，我是正式旅長為什麼不能出示安民呢？」吳一怒而去。回到師部即打電報給曹錕說張學顏不聽調遣。曹錕接到吳佩孚的電報後，知道兩人不能相處，在此用兵期間，唯有捨張而留吳，於是乃下令調張學顏赴漢口另有任用，遺缺以團長董政國升任第五旅旅長，吳的愛將張福來為第六旅長，第三師所轄三個混成旅，第一旅旅長王承斌，第二旅旅長閻相文，第三旅旅長蕭耀南。吳佩孚則由代理師長改為署理師長。
如果論功行賞，湖南督軍應該給予吳佩孚，怎知段祺瑞卻把這一席畀予未建寸功的皖人張敬堯，這一著之差，與當年把湘督給傅良佐，把川督內定吳光新一樣，時人論段祺瑞缺乏政治手腕，從這些地方都可以證明。對吳佩孚個人來說，這時候不做湖南督軍並不是損失。
北京政府發表吳佩孚為援粵軍副司令，擔任了張懷芝的副帥，事先未曾徵求吳的同意，段祺瑞認為曹錕態度已轉變積極，吳沒有理由會變的，所以不必一定先要徵求吳的同意。怎知命令發表後，吳卻置之不理，既不表示接受，也不表示拒絕，吳只是在衡陽飲酒賦詩。衡陽是彭玉麟的故居，吳頗慕彭的高風，仿彭畫梅，對彭的後人愛護有加。端午節前夕，段祺瑞自北京急電，飭吳部進攻兩廣，且以廣東督軍為酬，吳在段的電報上批一個「閱」字。第二天端節，吳邀全軍團長以上的軍官和湘軍將領派至衡陽的代表一塊飲酒。這表示吳已正式和南軍通款曲了。