漢朝末年（東漢），北海地方出了一個很博學的人，名叫孔融，宇文舉，是孔子的二十世孫。他從小就很聰明，尤其長於辭令，小小年紀，已是在社會上享有盛名。他十歲時，跟他父親到洛陽（今河南洛陽縣。洛陽是歷代帝王的陪都，因位於長安之東，稱為東都），當時在洛陽的河南太守，是很負盛名的李元禮，由於李氏的才名很重，因此在太守府中往來的人除了他的親戚，其餘都是當時有才名的人。如果不是名人去訪，守門的人照例是不通報的。
年僅十歲的孔融，卻大膽地去訪問這位太守。他到府門前，對守門人說：
「我是李太守的親戚，給我通報一下。」
守門人通報後，李太守接見了他。李元禮問他說：「請問你和我有什麼親戚關係呢？」孔融回答道：「從前我的祖先仲尼（即孔子）和你家的祖先伯陽（指老子，老子姓李名耳，字伯陽）有師資之尊（孔子曾向老子請教過關於禮節的問題）
，因此，我和你也是世交呀！」當時有很多賀客在座，李氏和他的賓客對孔融的這一番話都很驚奇。
其中有一個中大夫陳韙，恰恰後到，在座的賓客將孔融的話告訴他後，他隨口說道：「小時了了，大未必佳。」聰明的孔融立即反駁地道：「我想陳大夫小的時候，一定是很聰明的。」陳韙給孔融一句話難住了，半天說不出話來（見「世說新語」）。
後來的人便引用這段故事中的兩句話，將「小時了了」引成成語，來說明小孩子從小便生性聰明，懂得的事情很多。但因為下文有「大未必佳」一語，故這句成語的意思便變成了：小時雖然很聰明，一到長大了卻未必能夠成材的。
故表面上雖是讚揚的話，骨子裡卻是譏誚人、輕蔑人的。所以我們應用時便不能將它來稱讚別人，否則將被人誤解你有心譏剌、輕視人了。
一個小孩子，先天的聰明自然是好的，但若無後天的培養和努力，也會變成一塊無用的材料；很多人自恃生性聰明，不肯好好學習，聰明反被聰明誤，長大後反會變成最無用之人。