明太祖在統一戰爭中，依靠了一批英勇善戰的將領爭城奪地：又吸收了一些謀士，幫他出謀劃策。在這些謀士中，劉基是最著名的一個。
劉基又叫劉伯溫，本來是元朝的官員，因為對元朝的政治腐敗不滿意，常常寫點文章，諷刺時事，後來，被解職回到他的家鄉青田（在今浙江）。朱元璋的軍隊打到浙東的時候，把劉基請了出來，當他的謀士。在打敗陳友諒、張士誠的戰爭中，劉基出了不少計策。由於他足智多謀，得到明太祖的信任。明太祖把他比做西漢初年的張良。
劉基不但謀略好，而且精通天文。在古代，往往把天文現象跟人間的吉凶扯在一起。劉基對天下形勢觀察仔細，考慮問題周到，他的預見往往比較準確。但是大家都認為這跟他精通天文有關。民間傳說把劉伯溫看作一個「未卜先知」的人物。
朱元璋當吳王的時候，江南發生了一場旱災。劉基掌管天文，朱元璋問他為什麼發生大旱，怎樣才能求上天下雨。劉基說：「天一直不下雨，因為牢獄裡關押的人有冤枉。」
朱元璋信了劉基的話，派他去查牢監裡關的犯人。劉基一查，果然有不少冤案。他向朱元璋奏明後，平反了冤案，把錯抓的人放了。
求雨和平反本來是毫不相干的兩碼事。劉基也不可能有求雨的法術。不過他懂得天文，可能觀測到氣像要發生變化，就借這個機會勸諫朱元璋平反冤案。果然不出幾天，烏雲密佈，接著就下了一場透雨。劉基趁朱元璋高興的時候，又勸他制定法律，依法辦事，防止錯殺無辜的人。
明太祖即位以後，叫劉基做御史中丞，負責司法工作。劉基嚴格執法。有一次，丞相李善長的一個親信犯了法。李善長是明王朝開國功臣，又是明太祖的同鄉，勢力很大。但是劉基不顧李善長的阻撓，奏明明太祖，把那個親信殺了。這件事當然招來了李善長的怨恨。
正巧這一年，京城又逢到大旱，明太祖十分著急。劉基乘機跟明太祖說：「戰爭中的死亡將士，他們的妻子需要撫恤；一些在築城中死亡的工匠，屍骨還暴露在田野上，沒人收埋。
把這些事辦了，說不定能下雨。」
明太祖一心求雨，當然很快批准了劉基的要求，撫恤了將士妻子，掩埋了工匠的屍骨。劉基雖然辦了一件好事，但是靠這種辦法勸諫，畢竟靠不住。這一次，他的預測不准，過了十天，還是烈日當空，一滴雨也沒下。
這可使明太祖生了氣，再加上李善長在旁邊說壞話，叫劉基不能不害怕。這時候，他妻子在家鄉得病死去。劉基請個假回老家了。
其實，明太祖對劉基是特別器重的。有一次，明太祖要拜劉基為丞相。劉基連忙推辭說：「選丞相好比挑棟樑。要挑個大木材，如果用小木頭當樑柱，房屋就有倒坍的危險。」
後來，明太祖撤了丞相李善長的職，又想請劉基出來當丞相。劉基說：「我性子褊急，容不得壞人：再說年紀大了，也擔當不了這樣重任。天下有的是人材，希望陛下好好物色。」
劉基回到青田，過著隱居生活，從來不跟人談起他過去的功勞。青田縣令一再求見，都被劉基婉言拒絕。有一次，縣令換上便服，裝扮個鄉下人去拜訪劉基。劉基正在洗腳，見來了陌生人，連忙穿了鞋子，把來人請進屋，熱情地留飯。
劉基請教來人姓名，縣令只好實說：「我是青田知縣，特來拜見先生。」劉基大吃一驚，連忙起身作揖，自稱是治下的普通百姓。打那以後，再也不跟縣令見面了。
劉基住在家鄉，仍舊很關心明朝的政事。有一次，明太祖派人到青田向劉基問天象吉凶。劉基說：「冬天剛下過嚴霜凍雪：接下來便是陽春季節。現在國家已經安定，希望陛下施政稍為寬和一點。」