在祖父從高等警官專科學校畢業時，恰逢一九二二年直奉戰爭以後，馮玉祥出任河南督軍。馮在河南時頒布了《治豫大綱》，實行了一些進步措施，如：懲辦貪官，提倡節儉，改良社會風尚，禁絕封建陋習，興辦學校等等。初期，這些措施為河南百姓所稱道，也吸引了祖父的注意。經過一段時間的觀察，祖父認為馮玉祥是一個可以救民於水火的革命軍人，對馮玉祥產生了敬仰之心，於是從學校一畢業就投奔到馮玉祥的麾下。
馮玉祥手下多為赳赳武夫，文官很少。祖父雖為警官學校畢業，但深受傳統文化熏陶，舉手投足，依舊保持舊式讀書人談吐儒雅的風範。同時，祖父文化功底厚實，文章如行雲流水，字跡也頗顯功力，很得馮玉祥的器重。祖父這人有些政治抱負，點評時局也有獨到之處，在投奔馮玉祥時，只與馮玉祥深談了一個晚上，第二天便被委以重任，並且很快就躍升為馮玉祥的幕僚之一。一九二六年九月十六日，馮玉祥在五原誓師加入國民軍，被推舉為國民聯軍總司令。幾經征討，於一九二七年六月與武漢國民政府北伐軍會師於鄭州。鄭州會師之後馮玉祥掌握了豫、陝、甘三省黨、政、軍大權，並成立了以馮玉祥為主席的開封政治分會，祖父也隨之邁入國民政府。其間伴隨著馮玉祥的幾次上台與下野，幾經仕宦沉浮。期間先在河南省民政廳任職，執掌河南全省警察大權，後又升任河南省視察委員會主任職務。
大約在此前後，祖父離婚又娶了。祖父的原配夫人姓袁，在生育了兩個女孩之後就不再生育了。按照當時人們的觀點，「不孝有三，無後為大」，因此沒有兒子對於舊時代的人們來說是一件非常對不起祖宗的事情。但是，祖父在跟隨馮玉祥之後，也受到「一夫一妻」的新觀念影響，不想和當時達官貴人那樣討幾房姨太太。因此，儘管與原配夫人感情不錯，但祖父在矛盾的煎熬中只好選擇了離婚。通過媒人介紹，他娶了一名來自豫東的貧苦農民家的女兒，也就是我的祖母。祖母年輕時人長得也不怎麼漂亮，但小祖父二十多歲。祖母過門才一年，就生下了大伯。已過不惑之年的祖父終於有了兒子，頓時如獲至寶，連續擺了好幾天宴席來慶祝。祖父本身就比祖母大二十多歲，現在祖母又生兒子有功，從此非常寵著祖母，使她養成了非常驕橫跋扈的性格。祖父和原配離婚後，仍然養活著她們母女三口；祖父去世後，在祖母的百般阻撓下她們和我們家庭失去了聯繫。
中華民國時代各個省的民政廳與當代的民政廳的概念有很大不同：它囊括人事、民政、監察、治安大權，相當於現在四、五個廳。當時一個河南省政府下只有四廳一部：建設廳、民政廳、教育廳、財政廳，以及一個警備司令部。省政府機關也沒有如今這麼龐大，一個大院就把省政府幾乎所有的部門都裝下了。當時的國民政府官員，也沒有什麼「級別」可言，官員在任上，馬上就有俸祿；一旦免職，馬上就停發薪水；不像今天的官員，明明什麼都不管，還要享受個什麼待遇。馮玉祥在河南時我的父親尚未出生，自然沒見過他；我的大伯倒是記得馮玉祥，因為每個週末到省政府機關澡堂洗澡時候，經常能碰到馮玉祥。在民國前期，河南人不是很講衛生，即便是有頭有臉的人物，一個冬天不洗澡也是常有的事情。馮玉祥來了以後大講衛生，在省政府機關開起了澡堂子，號召省政府官員及家屬週末都去洗澡。每個週末，馮玉祥就站在澡堂門口，看到有人來洗澡就招呼：「啊，來了，好，歡迎歡迎！」大伯小時長得虎頭虎腦的，每次跟著祖父去洗澡時，馮玉祥總是要逗他玩一會。
馮玉祥生活簡樸，一向簡衣敝履，和士兵穿得差不多；他還特別討厭穿綾羅綢緞的富人，只要見到就要想辦法羞辱一番。在這種風氣下，馮玉祥手下官員，也大都不敢穿錦衣華服。我見到家裡留的祖父當時的照片，雖然官也不小，但穿著非常簡樸；即使馮玉祥離開河南以後，祖父衣著簡樸的習慣仍舊保留了下來。馮玉祥特別討厭婦女纏足，已經成人的也就算了，經常派兵抓那些纏足少女，一抓到就把女孩的父親也一併抓來，把裹腳布纏在他的耳朵上，由士兵抓著遊街示眾。當時開封大街上，經常有這類事情發生。
不過，馮玉祥作為一介武夫，儘管有愛國之心，但執政措施卻有不少不妥之處。三十年代初期，蔣介石提倡「新生活運動」，馮玉祥在河南大力推廣時漸漸變了味道，例如：下命令禁止過春節，只能過元旦。可是老百姓過了幾千年的春節卻不是一紙文件所能禁止的，因此大家都偷著過。於是乎，馮玉祥派出大兵到處站崗監視，看到誰家貼對聯就撕、看到誰家包餃子就踹，就連蒸饅頭多了也要端走，弄得老百姓雞犬不寧。可是小孩子不管這些，總是在沒大兵的地方偷偷放炮。鞭炮一響，馮玉祥的大兵就端著槍急急忙忙地追過去，等一到地方，人早就沒影了。每當過年，開封城裡的零星鞭炮聲就此起彼伏，滿街跑的都是大兵。此外，馮玉祥信基督教，對佛教道教很討厭，在開封時驅趕僧人，砸毀佛像，還把開封的大相國寺改作遊樂場，也惹的老百姓怨聲載道。
馮玉祥在開封期間，祖父主管開封治安。祖父這個人比較敬業，做過一些好事。在祖父執掌警察權力期間，開封的治安狀況是比較好的，這一點從一些民國史料中可以反映出來。為此，祖父從主管警察事務的職位上獲得擢升後，當地一些民眾曾經贈送給他幾把「萬民傘」（「注」「萬民傘」是舊時百姓對有政績的官員的一種表彰，其狀類似雨傘，但比雨傘大，一般是若干百姓集資購買訂製，再贈予即將離任的官員），以示感激。此外，受馮玉祥的影響，祖父一向比較親近進步人士，從不主動予以迫害，即使馮玉祥下野以後也是這樣。
雖然祖父官位頗高，但他對人卻很隨和，特別是對老百姓沒有一點架子。曾經有一次，祖父帶著隨從從一家門口走過，恰好那家主婦出來潑洗菜水，人在門裡，髒水潑了祖父一身。那婦女嚇壞了，祖父的隨從也立即掏出傢伙，卻被祖父按下了。祖父自己撣了撣身上的菜葉子，一邊嘟囔了一句：「也不看看……」
祖父在省政府任職以後，由於薪水較高（「注」祖父剛在馮玉祥手下做事時俸祿為每月三百塊大洋，幾個月以後升為三百五十塊大洋；中共早期領導人陳獨秀在北京大學任教授時收入也為每月三百塊大洋），很快就在開封城內買了一處小四合院；隨著職務的陞遷，後來又在省政府對門購置了一處比較大的院落。這個院落有前後有兩個四合院，正房是老式的樓房。同時，用積攢來的俸祿，陸陸續續地在確山老家購置了不少田地，總計大約有六百多畝，以備將來告老還鄉時養老。但是，家裡*祖父的薪水就足夠開銷了，因此也沒有把那些地當成回事，全給老家的族人們照看著，自始至終沒有從那些地裡收到過一兩租子。
擔任河南省視察委員會主任職務後，作為主管全省官吏政績考核、監察的官員，祖父自然有不少門生。其實不少人都是跑官、要官來的，到家裡來的時候都自稱「學生」，稱呼祖父為「老師」，家中總是門庭若市。既是跑官要官，那就免不了送禮收禮，父親記憶中祖父有一件全部用狐狸腋下毛皮拼成的裘皮大衣（「注」成語「集腋成裘」就是這個意思），還有高達二、三尺的珊瑚。
祖父履行職責，主要是在抗戰勝利以前；光復後由於身體原因，主要在家養病；到了國共兩黨決裂之後，就基本不問政事了。因此，祖父並未被牽扯進國共兩黨的恩怨中去，解放後也沒有被清算。