清朝在袁世凱小站練兵以前，有過三種軍制：最早的是「旗兵」和「綠營」，到了曾國藩組織鄉團後，所謂湘軍、淮軍，官式名稱叫做「勇營」。
旗兵是清王朝的原始軍制。最初只有四旗，以旗的顏色別類，分黃旗、白旗、紅旗、藍旗；以後增加了四旗，為鑲黃旗，鑲白旗、鑲紅旗、鑲藍旗。乃把原來的黃、白、紅、藍稱為正黃旗、正白旗、正紅旗、正藍旗編為左翼，鑲黃等四旗編為右翼，這就是清入關前的原始兵力，總稱「兩翼八旗」。後來由於蒙古的歸附，又縮了「蒙古八旗」，原有的則稱「滿州八旗」。入關後因明軍投降和整編。復有「漢軍八旗」。這廿四旗總兵數共28萬人。
清統一中國後，把旗兵中最基本的部隊編為「禁旗」，禁旗都是在長白山下打天下的子弟兵，他們負責北京警衛和國防責任，等於是中央軍。其餘漢、蒙、滿等廿四旗約20萬人，則分別駐防於各省及重要城鎮，以為鎮伏漢族的武力，稱為「駐防八旗」。
旗兵駐防的防區開始時非常謹嚴，那是為了對漢人加以鎮壓，所以八旗官兵都是攜帶家眷，分駐中國本部各省，防區共8處，有的設駐防將軍，有的設副都統，有的設城守尉。國防要地和關外則有防區25處，設都統和副都統，如密雲副都統、熱河都統之類。
旗營的官兵是世襲制度，生而食糧，數傳之後，腐敗已極，竟有列名行伍而不識弓弩為何物。光緒中葉，外侮日亟，滿族有遠見的王公大臣，乃有整頓旗營之議，派遣八旗子弟出洋留學，如蔭昌、良弼等都是。同時積極整理各省駐防旗兵，挑選精壯編成「八旗練營」；有「洋槍兵隊」、「洋槍馬隊」、「備練馬隊」、「洋槍步隊」等編製，聘任教官為新式的訓練。可是八旗子弟嬌養已慣，滿洲人當年勇武矯健的風氣已經完全喪失，所以整頓自整頓，旗營的腐化已至不可救藥的程度。
比「旗營」稍後組成的清軍，是「綠營」，綠營和旗營同稱為「經制兵」，就是國家的軍隊。
綠營的制度完全仿照明代，官兵全部是漢族，因為所用的旗子顏色是綠的，所以稱為綠營。最原始的編制全為明朝的降軍以及收編的隊伍，經過整編後也很像樣。清廷因為這支軍隊熟悉內地的地理人情，用之鎮壓漢人非常有效，一般市井之徒，遂得借綠營以達到騎在人民身上的目的，因為只要考中武科，就可為綠營官長，雖不識之徒也無所謂。
綠營歸兵部所轄，全國兵營可分為「在京」和「在外」兩種。「在京綠營」由步軍統領（即九門提督）統轄；下分左右兩翼，各設總兵，總兵之下則為城防營，有副將、參將、游擊、都司、守備等官。另有一部分在京綠營，分屬於漕運總督，專任護漕之責，其職務等於護路警察。至於「在外綠營」則直屬各省，由總督或巡撫節制調遣，所以各省督撫的官銜有「節制軍務兼理糧餉」一項，就是指綠營。綠營統兵的軍官有提督、總兵、副將、參將、游擊、都司、守備、千總、百總、外委等。軍隊編制以營為單位，設管帶一人，每營500人。全國的綠營總數共約50萬人。綠營到了清末，餉給過薄，乃多虛額，檢閱時則以僱傭市井無賴充數，武官由捐納出身，軍隊缺額在半數以上，腐化已極，以致太平天國軍興，勢若破竹，綠營乃遭淘汰。
旗營、綠營既成廢物，曾國藩招募土著編練「勇營」，就是後來名重一時，鎮壓太平天國的湘軍和淮軍。由於這場戰爭的表現，勇營竟取得國軍的地位，加以旗營形成虛設，綠營僅存形式，所以勇營就成為清廷鎮內御外的唯一武力。勇營的部勒方法，為明代戚繼光的遺規，以弓矢刀矛為武器主力，鳥槍火統為輔助。淮軍李鴻章延英人戈登編練洋槍隊，是為中國採用新式軍械的開始。
勇營軍紀很壞，擄掠姦殺，視為慣常，曾國荃所統之兵尤甚，攻入南京時竟至全城為墟，一個小兵都身懷巨萬；而清廷當時爵賞太濫，所以太平天國戰事結束後，勇營之腐敗，至於不堪言狀。而湘、淮兩軍將領也都恃功而驕，數次對外戰爭，一敗塗地，尤其是甲午戰爭，淮軍衛汝貴全軍覆沒，舊軍之劣點，完全暴露，於是清廷才下決心汰除舊軍編練新軍。
由於旗營、綠營都已腐蝕已極，而勇營也只是曇花一現，甲午戰前，清廷有識之士已警覺到清軍的不堪一戰，所以李鴻章在直督任內乃銳意摹仿西法練兵，辦了一個天津武備學堂，由戈登代為購置新式槍械，聘請德國軍官為教練，由滿人蔭昌為總辦。可惜軍事教育和軍隊組織並不能配合，因此天津武備學堂畢業的學生，被分派到淮軍的各軍去擔任教習，教練新操，而軍隊指揮權則仍舊在舊統帥手中，一切戰略戰術依然陳舊，因此甲午之戰，淮軍一敗塗地，淮軍中最有名的盛軍統領衛汝貴全軍覆滅。這時清廷上下恍然大悟，僅只是西法練兵還不夠，整軍經武必需徹底的大改革。於是兩江總督張之洞首先練自強軍於吳淞，聘用德國教官，一切規模體制全部倣傚德軍。另一方面在北洋指派胡——練定武軍十營，假小站舊日周盛昆、周盛渤所統領盛軍的營地為練兵場。盛軍原在小站屯田，所以有完整的營房和已開墾的稻田，由於盛軍覆沒於中日甲午之役，因此小站也隨之荒廢，定武軍即以此為營房。
編練新式陸軍的同時，清廷在各省組織了巡防營。巡防營是挑選舊綠營和勇營的精壯，另招募民丁，編組而成，其性質系以保衛地方，如警察保安隊，其編製分為馬隊和步隊，馬隊全營設官、弁、兵、夫共189名，馬135匹，每營分為「中」、「左」、「右」三哨。步隊全營設官、弁、夫共301名，每營亦分為「中」、「左」、「右」三哨。巡防營在各省均有，且因地方之需要，劃分為若干路，以「中」、「前」、「左」、「右」、「後」或「東」、「西」、「南」、「北」、區別之，每路各設統領一員。步、馬各營則設管帶和哨官等統率之，還有訓練新式槍操的，則設教習一職。
巡防營的章制當然是不符合戰術原則，不過倒是一支經過了新式訓練，並使用新式武器的軍隊，可是由於分子的來源良莠不齊，而帶兵官又多為舊武官或是候補道（當時的候補道，有辦法的則遇缺即補，所以人們稱為萬能候補道），對於新式軍事知識一無所知，因此巡防營乃變成有名無實，和勇營的曇花一現差不了多少。
巡防營一直存在到辛亥時候，各省紛紛獨立，乃把巡防營改為師旅或警備隊、保安隊。唯一例外的是新疆，直到民國21年（1932年）仍有巡防營存在。
光緒廿一年（1895年）十月，醇親王奕-、慶親王奕-和軍機大臣翁同-、李鴻卓、榮祿會商奏請改革軍制，逐步訓練新軍以代替完全不能「保清衛國」的綠營，於是便在北京附近訓練新軍。這時直隸總督是王文韶。清廷最初是派長蘆鹽運使胡——到小站練兵，這支軍隊命名「定武軍」，聘請德國人漢納根擔任教官。幾個月後，胡——遷調為蘆漢鐵路督辦，於是滿清政府改派袁世凱以浙江溫處道頭銜，留在小站接統定武軍，改名為「新建陸軍」。定武軍原有4000餘人，袁接統後便擴充為7000人，成立了「新建陸軍督練處」。
保薦袁世凱督練新軍，也是由醇親王奕-、慶親王奕-、軍機大臣翁同-、李鴻章、榮祿聯名專折，摘錄如下：
「竊查歐洲各國專以兵事為重，逐年整治，精益求精，水師固其所長，陸軍亦稱驍勇。中國自粵捻削平以後，相沿舊法，習氣漸深，百弊叢生，多難得力，現欲講求自強之道，固必首重練兵，而欲迅期兵力之強，尤必更革舊制。臣等於去歲冬月，軍事方殷之際，曾請速洋隊，仰蒙簡派廣西臬司胡——會同洋員漢納根，在津招募開辦，嗣以該洋員擬辦各節，事多窒礙，旋即中止。另由胡——練定武軍十營，參用西法，步伐、號令均極整齊，雖未盡西國之長，實足為前路之導。今胡——奉命督造津蘆鐵路，而定武一軍接統乏人，臣等公同商酌，查有軍務處差委，浙江溫處道袁世凱，樸實勇敢，曉暢戒機，前駐朝鮮頗有聲望，……相應請旨飭派袁世凱督練新建陸軍，假以事權，俾專責任，現先就定武十營，步隊三千人，炮隊一千人，馬隊二百五十人，工程隊五百人以為根本，並加募步隊二千人，馬隊二百五十人，共足七千人之數，即照該道所擬營制餉章編伍辦理，每月約支正餉銀七萬數千兩，至應用教習洋員最失緊要，應由臣等咨會出使德國大臣與德國外部選商聘訂。……果能著有成效，尚擬逐漸擴充……」
袁世凱受任主持訓練新軍事宜，從此開始了他燦爛的一生，這就是小站練兵。
當時積極促請清廷重整陸軍的，以胡——和袁世凱最力。胡曾將英使所交來的《應時練兵說帖》求寧波王修植編修代擬條陳。王文辭敏捷，對新政研究有素，遂寫成兩稿，第一稿是以英使說帖為藍本，第二稿是加以文字的煊染。胡以第二稿送至京師督辦軍務五大臣慶親王和榮祿，胡因得練定武軍十營；袁世凱聞聽胡練兵的經緯，乃日日趨訪王修植，並和王修植、張錫鑾、孫寶琦、潘克俊四人結成盟兄弟。當時北京侯家巷的名妓為沈四實、花媚卿、花寶琴、林枝笙、賽金花等。袁逐日在大實班宴會，藉以肆應王修植，求王代擬一個練兵條陳，王乃把曾代胡擬的第一稿，即英使練兵說帖交袁。袁的為人在重要關頭極細膩，得王交來之稿，早晚朗誦，緊記要點，然後繕正，求榮祿代奏。榮向袁逐條詳詢，袁亦逐條對答如流。榮大為激賞，乃攜袁謁見醇親王和慶親王，袁亦對答如流，較胡——能抓住要點，加以胡是紹興人，官話不如袁流利，因此袁遂得瓜代胡在小站練兵。
小站距離天津70里，原名新農鎮，是天津到大沽火車站中間的一個小站，本來很荒涼，只因鐵路修築後，新農鎮成為一個小站，是鐵路必經之地，所以漸趨熱鬧，小站這個新地名也逐漸代替了新農鎮這個舊地名。
這個地方早先曾由李鴻章所轄的一部分淮軍駐紮。淮軍們曾仿古屯田法，鑿川引水以種禾稻，屯軍前後歷時20年，淮軍散後，小站的軍營便變成了廢壘。
這一年袁世凱只有37歲，清廷建練新軍的工作，給他製造了一條呼風喚雨、騰雲駕霧，培植自己勢力，取清朝江山而代之的捷徑。
這時候，清廷鼓勵各省建練新軍，各省督撫都爭先恐後地網羅國外或國內知名的軍事人才，充當練兵機構的實際主持人。袁世凱學曾國藩、左宗棠、李鴻章，以文人而「知兵」，他曾寫過一本兵書，又在朝鮮表現了他是文武全才，所以李鴻章很賞識他，西太后的寵監李蓮英也被他買通。當他主持「新建陸軍」督訓工作後，他和其他各省督撫最大的不同地方，就是他的幕僚長並不是一個新的軍事人才，又絲毫沒有戰功，而是一個長於詩詞歌賦翰林出身的徐世昌。袁除了請徐世昌擔任參謀而外，並請唐紹儀擔任文案。
袁世凱雖自認文武全才，但他畢竟沒有軍事的實際知識，而他所選的文武兩大幕僚，也都不懂軍事，因此網羅實際負責帶兵和練兵的幹部，便不能不找尋真正的軍事人才。前面曾提到天津有一個武備學堂，是李鴻章創辦的，武備學堂的總辦是旗籍道員蔭昌。袁世凱便請蔭昌推薦軍事人材，蔭昌推薦了在武備學堂畢業的學生馮國璋、段祺瑞、梁華殿和王士珍。
袁世凱這個時候極需軍事幹部，所以當蔭昌介紹了這幾個武備學堂畢業的學生來見他後，他立即派馮國璋為步兵學堂監督兼督操營務處總辦，段祺瑞為炮兵學堂監督兼炮兵營統帶，王士珍為講武堂總教習兼工程營統帶。步、炮、工兵學堂都是附設在新軍裡面的隨營軍事學校，因此這三個軍官既要帶兵，又兼管訓練，所擔任角色的吃重可以想像；同時亦可看出袁世凱在這時所能吸收的軍事人才是多麼稀少零落。由於王、段、馮三人成為袁世凱建練新軍的三根支柱，於是他們就分別得到龍（王士珍）、虎（段祺瑞）、狗（馮國璋）三個綽號，另外對他們三個人的總稱是「北洋三傑」。這北洋三傑的出身，各自不同：
王士珍字聘卿，直隸正定縣人，他的出身最為特殊。他家境貧窮，先為人放牛，隨後投入朝陽鎮總兵楊瑞生的旗下為馬弁。楊瑞生是湖南湘潭人，以洪憲禍首聞名的楊度便是他的侄兒。王士珍雖姓王卻不叫士珍。有一年聶士成編練武衛新軍，曾向楊瑞生調用軍事人才，楊瑞生開了一張名單，保薦一批幹部，其中一名是守備王士珍，不料王被保後因病告退，回籍養病。恰好這位王馬弁為人能幹，立志向上，楊總兵因保單已送出，缺了王士珍便叫王馬弁冒充王士珍，頂名前往武衛新軍報到。他到武衛新軍後不久，又由武衛新軍選送到武備學堂受教三年，曾經參加過甲午中日戰爭，戰後隨聶士成駐軍蘆台。他一直冒用王士珍之名，而真的王士珍卻晚年潦倒，落到在楊瑞生家中做燒飯司務。段祺瑞字芝泉，是安徽合肥人，在武備學堂畢業後，曾奉派去德國研究軍事。馮國璋字華甫，是直隸河間縣人，出身秀才，在武備學堂步兵班畢業，曾供職於聶士成的武衛軍，後來再度進入武備學堂研究戰術。梁華殿到小站僅很短一段時間，也許是他功名無份，在一次夜間操作中，失足跌到水中淹死了。如果他在，北洋三傑也許會變成北洋四傑了。
袁世凱認為清軍所以不能一戰，有基本的原因，就是在一切編製和組織上都不能符合時代，所以須從基本的軍制上革新，參用西法，認真訓練。因此他獲准精練1．2萬人，作為新建陸軍的基本武力。其中包括步隊八營，共8000人；炮隊兩營，共2000人；馬隊兩營，每營500人，共1000人；工程隊一營，計1000人。合共1．2萬人。以步隊為主，炮隊為輔，馬隊巡護，工程隊供臨時調遣。在編制上分為兩翼，設統領二人，下設分統、分領訓練，每分統統轄步隊二千，炮隊二千，馬隊一千。其組織如下：
新建陸軍步隊營，設統帶官兼一員管轄全營，幫統帶官一員，管帶領官四員，哨官12員，哨長24員，督排哨長四員。
新建陸軍炮隊營，設統帶官一員，管轄全營。幫統兼左翼領官一員，管轄三哨。副領官兼哨官三員，哨長九員，各管重炮二尊。管查炮馬哨長一員，幫統兼右翼領官一員，管轄三哨。副領官兼哨官三員，哨長12員，管查炮馬哨長一員，幫統兼接應馬炮隊領官一員，管轄三哨。副領官兼哨官三員。哨長九員。管查炮馬哨長一員。
新建陸軍馬隊營，設統帶官一員，管轄全營。幫統官一員，領官兼一哨官四員，哨官八員，哨長12員。
新建陸軍工程營，管帶官一員，幫帶官一員，委員一員，管理橋樑司隊官一員，木工四隊，鐵工一隊，水工二隊。管理地壘司隊官一員，築工四隊，石工一隊，筐工二隊，土工二隊。管理電雷司隊官一員，雷兵三隊，管理修械司隊官一員，修炮鐵工一隊，修槍鐵匠二隊，修械木工一隊。管理測繪司隊官一員，測繪一隊，印化兵一隊。管理電報司隊官一員，工匠一隊。
新建陸軍督練處，督練官一員，稽查全軍參謀軍務營務官一員，執法營務官一員，督操營務處一員，督隊稽查先鋒官14員。另教習處洋教官13員，翻譯13員，糧餉局總辦委員一員，管理採買製造委員二員，軍械局總辦委員一員，收發軍械委員二員，軍醫局正醫官一員，副醫官一員，還有轉運局、偵探局等。
新建陸軍須賬篷2400個，全部用外國帆布製造，每一名士兵均備洋制雨衣、雨帽和洋毯，每哨有洋表，雙筒望遠鏡和指南針。每二營有行軍電台。每官長有督隊腰刀一把，手槍一隻。這就是小站練兵時的軍隊組織。
袁世凱是在光緒二十一年（1895年）十月領旨，以浙江溫處道統領定武軍。他得旨後即佈置一切，由北京起程，遄赴小站就職。他先修繕淮軍舊駐的廢壘，把營基擴充，同時請求改定武軍為新建陸軍督練處以正名，派遣副將吳長純等往准、徐、魯、豫各地，開具格式，選募壯丁；又派都司魏德清等到新民廳選募騎兵，購買馬匹；還有關於武器的規格。他覺得定武軍雖只是4000人，可是所使用的槍炮完全沒有劃一，有的日造，有的俄造，有的德造，式樣既舊，款式又雜，於是他請求軍務處發給新式劃一的步槍、騎槍、速射炮等。
光緒廿一年十一月六日，新軍獲准編成，編製中分步兵為左右兩翼，左翼二營，由速射炮隊、重炮隊、騎兵隊接應；右翼三營，由炮隊接應。分騎兵為四隊，選拔宿將和學生督率營伍，研究操法。工程營分為修械、橋樑、地壘、雷電、電報、測繪六司。此外還請了更多的德國軍事教官，以及日本和美國軍事教官，並在軍營中成立一個德語學堂以教德語，因為新軍訓練工作仍以德國軍事教官為主。其他附屬單位還有：糧餉局、軍械局、轉運局、洋務局等。
由於小站練兵完全新式，名目既多，化錢也不少，因此被一般守舊人物所攻擊。光緒廿二年（1896年）御史胡景桂上章參劾，認為小站兵事浪費國帑，清廷乃派榮祿到小站詳細檢閱，同時考查訓練進步情形。榮祿當時是慈禧的紅人，他視察得非常仔細，也因此更深一步賞識袁的才幹，和他所練新軍的成就。
榮祿的報告到了慈禧和光緒手中，這兩位最具權威的人物也對袁有了深刻的印象。
光緒這時銳意革新，雖然他還不知道應該怎麼做，但他能接受新的事物、新的建議。袁世凱因為練新軍頗有成績，加上他過去在朝鮮的種種作法，使光緒開始對這個小小道員有了好感。
慈禧也對袁有了認識，因為她對於榮祿的話是言聽計從的，榮祿曾親自看過袁的練軍工作，並且對袁甚有好評，則袁的能幹有為是必然的了。
小站練兵給了袁世凱表現能力的機會，有了建立羽翼的條件，也使他獲得那時代最有權勢的人對他的重視。
光緒廿五年（1899年）二月，榮祿再度蒞臨小站點校新建陸軍，對於新軍的規模、訓練、精神以及所操演的陣形都極表滿意，並且大為激賞。他告訴袁世凱說已經奉了慈禧的密旨，授權他在北洋組織一支嶄新的軍隊。在他心目中，認為這支新軍應該以新建陸軍為模範，他令袁世凱就編組北洋新軍向他提出具體的計劃。
袁世凱費了三天的時間擬就新軍的軍制和組織，一切倣傚新建陸軍，共為五軍，每一軍共轄八營：計步兵五營，炮兵一營，馬兵一營，工兵一營，另附一個學兵營。每營設一個統帶，統帶率四個領官，每個領官領一隊，每隊250人，所以每營是1000人。規定每營兵士必須足額，餉糧按人發給，足食足兵。
榮祿立即接受了袁世凱的獻議，將這個新軍訂名為「武衛軍」。武衛軍分為五個軍，為：武衛前軍，武衛後軍，武衛左軍，武衛右軍，武衛中軍。榮祿擔任武衛軍的統帥並兼統武衛中軍，以馬玉昆統武衛前軍，聶士成統武衛左軍，袁世凱統武衛右軍，董福祥統武衛後軍，每軍九千餘人。武衛右軍即由新建陸軍改編而成，是武衛軍中最完整，最精銳的部隊。武衛中軍則是重新招募，以旗丁為主，一切規模俱參照新建陸軍，所以人數也有1萬人，而且都是年輕精壯的。武衛前軍，武衛後軍，武衛左軍這三支部隊則是以燕隴舊軍改編，如董福祥的武衛後軍就是由甘軍改編，所以舊勇營的習氣和組織仍然存在，非常散漫。榮祿雖然限令他們就地整編，可是整編工作卻很遲慢。
武衛軍成立後，袁常往來北京和天津，他的聖眷日隆，慈禧特賞他在西苑門內騎馬和乘坐拖船，這些特權都是對一個大臣的無比殊榮。