1937年，「盧溝橋事變」爆發後，日軍佔領北平，進而又把魔爪伸進了冀中平原，實行兇殘的「三光」政策。8月26日，日軍佔領了馬本齋的家鄉東辛莊。日軍所到之處燒殺搶掠，無惡不作,馬本齋的哥哥馬守朋也慘死在敵人的槍口之下。1937年「七七事變」爆發，日寇大舉進犯華北。面對亡國滅家的危險，馬本齋拒絕了一些土匪武裝的誘惑、脅迫，振臂一呼，揭竿而起，組織本村七十餘名回族青壯年，打出了抗日義勇軍的大旗。1938年3月，馬本齋率隊到河間，參加了孟慶山領導的河北遊擊隊，編為冀中回民教導隊。從此，揭開了他七年波瀾壯闊的武裝鬥爭序幕。
義勇隊成立後，為了使隊伍迅速形成戰鬥力，馬本齋每天都帶領隊員練習拳術，激勵他們苦練本領、奮勇殺敵。不久，就在村外不遠處的子牙河畔，回民義勇隊打響了抗擊日寇的第一槍。
這次打了一個漂亮的勝仗。此次戰役中，馬本齋與他的隊員們繳獲了敵人的一些武器、彈藥、布匹等物資，為義勇隊的成長髮揮了重要作用。
抗日名將馬本齋及他領導的「回民抗日義勇隊」
子牙河戰鬥初戰告捷，而就在此次戰鬥後不久，日本《東亞聖戰報》刊登了這樣一則消息：「『匪回民義勇隊』在匪首馬本齋率領下，發明一種掃帚炮，其威力無窮，殺傷面積之大十分驚人。」
讓人不解的是，此時的回民義勇隊剛剛組建，槍械異常簡陋，大都是自製的武器。在如此艱苦的條件下，回民義勇隊如何會擁有威力強大的火炮？日本人所說的這種「掃帚炮」又是什麼樣子呢？
原來，從回民義勇隊成立後，馬本齋就一心想打一場漂亮仗為死難的鄉親報仇。然而，僅靠手中現有的兵力和槍械，要消滅裝備精良的日軍又談何容易。利用此前在部隊作戰的經驗，馬本齋意識到，要想大面積地殺傷敵人，必須要擁有一種火炮式的武器。
可是製造這樣的火炮需要大量的鋼鐵，僅靠鄉親們捐獻的廢鐵顯然難以實現，那麼哪裡才能找到合適的材料呢？馬本齋從村裡老人那裡瞭解到，就在幾十年前，有一次發大水，曾把鄰村龍王廟裡的一口千斤大鐘衝進了子牙河裡。
在馬本齋的帶領下，沉睡在河底的千斤大鐘終於找到了，義勇隊的隊員們最終把它鑄成了碗口粗的「大抬桿兒」火炮。
「大抬桿兒」火炮日軍叫其「掃帚炮」。行軍的時候由兩個人抬著，義勇隊管它叫「二人抬」、「大抬桿兒」。向該炮先放入適量的火藥，再放入鐵砂貼片，炮的支架固定在土裡，防止它傾斜。點燃藥捻兒後，炮筒裡的鐵片、鐵沙便像扇面一樣地噴射出來，射程足足七八十米。子牙河戰鬥中，義勇隊員就是用這種自製的火炮把日軍打了個落花流水。
對於這種民間自製的「掃帚炮」，日軍顯然搞不懂其中的名堂，卻不得不小心防範。而在同日軍的一次次交鋒中，回民義勇隊也逐漸成為了冀中平原一支重要的抗日力量。
然而，由於數量和裝備有限，義勇隊只能進行較小規模的襲擾戰鬥。馬本齋意識到，敵眾我寡，自己是孤軍作戰，要想對日軍造成強有力的威脅，必須要加強抗敵同盟，才能加大對敵人的打擊力度。
在當時，國民黨當局消極抗日，地方上的幾支地主武裝大都形同虛設。馬本齋開始考慮尋找新的抗日道路。然而，如何才能找到一支真正的抗日革命隊伍呢？木馬齋經過深思熟慮之後，毅然決定參加八路軍。
之後，作為八路軍冀中軍區的一支重要武裝，馬本齋率領回民教導總隊在抗日根據地進行了英勇的戰鬥，屢建奇功。在回民教導總隊成立後的短短三個月內，作戰三十餘次，殲敵五百多人，破壞鐵路七十餘次，顛覆火車二十餘列，有力配合了八路軍在敵後戰場的大規模作戰。而這支驍勇善戰的抗日隊伍更是名聲大振，很多百姓踴躍參軍，隊伍由幾百人迅速發展到一千五百人。1939年7月，回民教導總隊改稱「回民支隊」，馬本齋奉命擔任回民支隊司令員。
1940年初到1941年7月，面對日軍企圖封鎖我抗日根據地的嚴峻形勢，馬本齋率回民支隊在深南(深縣南部)、大清河畔、白洋澱、無極、定縣等地由南向北、由西向東，千里馳騁，打出了回民支隊的軍威，擴大了影響，被冀中軍區譽為「打不爛、拖不垮、攻無不克的鐵軍」。毛澤東同志也欣然提筆，稱回民支隊是「百戰百勝的回民支隊」。
1941年7月以後，馬本齋率回民支隊戰鬥在建國縣與日軍駐河間聯隊長山本展開了激烈的鬥爭。幾番交手，山本被義勇支隊打得落花流水，險些全隊覆沒。黔驢技窮的山本，在叛徒哈少甫的幫助下，派兵包圍了東辛莊，將馬本齋的母親白文冠抓到河間憲兵隊，逼迫馬母招降馬本齋。馬母面對山本的威逼利誘，大義凜然，最後絕食殉國。冀中軍民聞訊無不感動，延安《解放日報》刊登消息，報道馬母的英雄事跡，十八集團軍首長亦電勉冀中軍民並慰問馬本齋。
1942年，冀中抗日環境急劇惡化。從春季開始，敵人頻繁在回民支隊活動的建國、交河、獻縣一帶「清鄉」、「掃蕩」，給回民支隊造成很大的損失。馬本齋在極端困難的情況下，率領隊伍打伏擊，襲據點，英勇奮戰。5月1日，日軍集中五萬步兵，八百輛汽車及部分坦克和騎兵，在華北派遣軍司令官岡村寧次的指揮下，對冀中根據地進行空前規模的大掃蕩。為了減輕敵軍對我中心區的壓力，回民支隊奉命打泊鎮，襲交河，轉移敵人視線。之後戳破鐵壁合圍的口袋陣，跳出敵人的包圍圈，勝利轉移到冀魯邊區。
1942年9月，回民支隊奉命開赴魯西北，馬本齋被任命為冀魯豫軍區第三軍分區司令員兼回民支隊司令員。從此，回民支隊作為第三軍分區的主力部隊，擔負起了保衛、鞏固和發展魯西北抗日根據地的艱巨任務。
從1937年舉起了抗日義勇軍的大旗，到1944年，馬本齋歷任回民教導隊隊長、總隊長、八路軍第三縱隊回民支隊司令員，冀魯豫軍區第三軍分區司令員兼回民支隊司令員。七年間，他指揮回漢健兒，轉戰於冀中平原、渤海之濱，馳騁於冀、魯、豫廣大敵後戰場。身經大小戰鬥八百餘次，消滅日偽軍三萬餘名，使敵人聞風喪膽。
1944年2月，回民支隊接到命令，開赴陝甘寧邊區，保衛延安、保衛黨中央、保衛毛主席。馬本齋激動得徹夜難眠，他一生最大的願望就是見到毛主席、朱總司令。然而，就在這多年的夙願即將實現的時候，罪惡的病魔正悄悄向他襲來。最終馬本齋沒有實現自己的願望，帶著遺憾、帶著嚮往病逝於冀魯豫軍區後方醫院，長眠於魯西北的大地上。
馬本齋的病逝，是抗日大業的重大損失，毛澤東同志親筆寫下輓詞「馬本齋同志不死」。日本投降後，由馬本齋組織培養的、擁有三千多名將士的回民支隊，轉入解放戰爭，兵分兩路：一部分加入四野，轉戰東北；一部分由馬本齋之弟馬進坡率領，輾轉華北。