司馬遷是西漢武帝時的人，受父親影響，他少年時就閱讀古人的書籍。20歲時，他到各處去遊歷，搜集了很多古代名人的資料。後來，他被任命為郎中，可以常隨皇帝出遊。父親死後不久，司馬遷接替他的職務做了太史令，有機會翻閱了很多圖書，做了大量筆記。公元前104年，他正式開始寫作《史記》。
然而，在這個過程中，司馬遷卻因為替抗擊匈奴的大將李陵投降匈奴辯護，被漢武帝認為是有意貶低李廣利（李廣利是漢武帝寵妃的哥哥）因而被判腐刑。司馬遷認為受腐刑是一件很丟臉的事，因此想到了自殺，但是他又想：從前周文王被關在羑里，寫了一部《周易》；孔子周遊列國的路上被困在陳蔡，後來編了一部《春秋》；屈原遭到放逐，寫了《離騷》；左丘明眼睛瞎了，寫了《國語》；孫臏被剜掉膝蓋骨，寫了《兵法》。還有《詩經》三百篇，大都是古人在心情憂憤的情況下寫的。這些著名的著作，都是作者心裡有鬱悶，或者理想行不通的時候，才寫出來的。我為什麼不利用這個時候把這部史書寫好呢？
於是司馬遷忍受痛苦，發憤編寫，把從傳說中的黃帝時代開始，一直到漢武帝太始二年（公元前95年）為止的這段時期的歷史，編寫成一百三十篇、五十二萬字的巨大著作《史記》，內容涉及到了政治、經濟、文化、軍事等各個方面。
《史記》既是一部偉大的歷史著作，又是一部傑出的文學著作。他和他的著作《史記》在我國的史學史、文學史上都享有很高的地位。魯迅先生稱其為「史家之絕唱，無韻之離騷」。