辭賦問題與屈原問題有近似性，因為辭賦的祖宗是楚文化，而屈原又是楚文化的代表。賦雖然是漢代士人自己創造出來的東西，但由於它與楚文化這種關係的密切性，也就自動進入了被爭論的對象之列。漢代很多人都談到這個問題，總之，崇賦與貶賦是其基本內容。
一、司馬相如論辭賦
司馬相如論賦的材料來源於《西京雜記》中的記載，在正統的史書裡沒有見到司馬相如論賦的有關材料。《西京雜記》帶有筆記體小說的特徵，記載了漢代的不少逸聞趣事，作者也不確定，有人認為是西晉葛洪所作，又有人說是漢代劉歆寫的。因此，《西京雜記》不能作為嚴格的史學材料來使用。雖然不能嚴格地確定這材料是司馬相如所言，但還是可以聊備一說。在《西京雜記》卷二"答盛覽問作賦"中，司馬相如提出了"賦跡賦心說"。
《西京雜記》卷二中，司馬相如說："合纂組以成文，列錦繡而為質，一經一緯，一宮一商，此賦之跡也。"這就是所謂的賦跡說。這段話裡面我們首先需要搞清楚"纂"和"組"的意思，《說文解字》中說："纂，似組而赤。"段玉裁注云："組之色不同，似組而赤者則謂之纂。"《說文解字》中又說："組，綬屬。"《禮記·玉藻》中說："天子佩白玉而玄組綬，公侯佩山玄玉而朱組綬。""組"就是古時人身上的綬帶，而這些綬帶往往是用絲做成的，所以也就是絲帶了。無論"纂"還是"組"都是人身上的裝飾品或者裝飾品的部件，那麼"纂組"也就是用文飾的東西來構成賦的"文"的部分。然而，"錦繡"又是賦的"質"的部分，這樣一來，我們就可以看出，司馬相如所謂的賦的"文"與"質"基本上沒有內容層面的東西，只是形式層面的東西。故而所謂"賦跡"也就是賦的形式跡象層面的東西而已。也就是說，"賦跡"即是賦之形跡，這個外在層面對辭賦而言，顯然就是花團錦簇，就是華麗的辭藻。所謂"一經一緯"，大約也就是這"文"與"質"反覆交錯鋪列的意思。除了"一經一緯"，還有所謂的"一宮一商"，這指的是賦除了視覺形式上的華美，還有音韻的鏗鏘，還有聽覺形式上的美感。
除了"賦跡"層面的東西，賦還有"賦心"。在《西京雜記》卷二中，司馬相如也談到了賦心。他以為"賦家之心，苞括宇宙，總攬人物，斯乃得之於內，不可得而傳"。這不是賦體之心，而是賦家之心，是創作者的問題。他認為賦的創作者應達到"苞括宇宙，總攬人物"的宏闊心胸，這確實是漢大賦創作的主要特色，賦家上天入地，鋪排天地萬物，運用自己豐富的想像力以"體"天地萬物，使整個宇宙之物皆備於我之胸中。這實際上說的就是賦家高超的藝術能力，所以"賦家之心"就是賦家創作的能力，這個能力的核心就是高超的想像力，而司馬相如認為這種能力是無法遺傳的，所以最後他說"得之於內，不可得而傳"。這也就是說，"賦家之心"即是"天才之心"，是天賦的能力。
從司馬相如論賦似乎看不出他到底是崇賦還是貶賦，但是從文字內容上我們可以推出他應該是持肯定的態度。無論這段材料是否真是司馬相如的話，但這段材料的確揭示出了漢代辭賦的基本特點。漢代辭賦的這個特點，有人喜歡，有人貶斥。在司馬相如之後，漢代還有若干人也是持肯定的態度，但我們更要看到，在漢代，貶賦的潮流與聲勢似乎更大，而貶賦貶得最厲害的就是揚雄。
二、揚雄論辭賦
揚雄對賦的態度分前後兩期。早年，他自己就是熱衷大賦的作家，對前輩賦家如司馬相如等更是推崇備至，並"常擬之以為式"："先是時，蜀有司馬相如，作賦甚宏麗溫雅。雄心壯之，每作賦，常擬之以為式。"既然"常擬之以為式"，當然也就可以理解為他早年特別崇賦，對司馬相如的態度基本上就等於對賦的態度。《西京雜記》卷三記載說："司馬長卿賦，時人皆稱其典而麗，雖詩人之作不能加也。揚子雲曰：'長卿賦不似從人間來，其神化所至邪！'子雲學相如為賦而弗逮，故雅服焉。"這也大約可以作為一個佐證材料，即在揚雄心中，司馬相如不僅僅是一個老鄉，更是一個"賦神"或者"賦仙"。
壯年以後，揚雄對賦的態度開始了轉變，這在賦學歷史上稱之為"壯而悔賦"。揚雄說："賦者，將以風也，必推類而言，極麗靡之辭，閎侈鉅衍，競於使人不能加也。既乃歸之於正，然覽者已過矣。"前面的話是針對賦的特徵而言，後面是針對賦的批評，認為賦應該達到"諷諫"這個目的，但現在的賦卻"極麗靡之辭，閎侈鉅衍，競於使人不能加也"，從而讓人流連於華麗的形式，不能達到諷諫的目的。對於"既乃歸之於正，然覽者已過矣"，他舉武帝覽賦為例，說："往時武帝好神仙，相如上《大人賦》，欲以風，帝反縹縹有陵雲之志。"司馬相如寫賦勸皇帝不要信神仙，但又用鋪排神仙境界的方式去勸諫皇帝，等到最後，在賦的尾巴上才去告誡皇上不要相信以上神仙境界的描寫，這賦的諷諫的尾巴就是所謂的"歸之於正"了，但是因為覽者還沉浸在前面描寫的神仙境界中，由於慣性，必然會一躍而過，從而導致"覽者已過"的結果。通過這個例子，揚雄得出結論說："繇是言之，賦勸而不止，明矣。"這句話裡的"勸"是鼓勵的意思。整句話的意思是賦達不到諷諫的目的，本來是勸皇帝不要信神仙，最後卻鼓勵皇上信神仙。
因為賦達不到諷諫的目的，在《法言》中他也有賦"欲諷反勸"的說法："或曰：賦可以諷乎？曰：諷乎！諷則已；不已，吾恐不免於勸也。"故而揚雄以為賦家"頗似俳優淳於髡、優孟之徒"，是供人玩弄取笑的對象而已，得不到認真的對待。最後，他說賦"非法度所存，賢人君子詩賦之正也。於是輟不復為"。"輟不復為"就是揚雄從早年崇賦到壯年悔賦的心理巨變，如果把他早年與壯年評價司馬相如的言論加以對比，更可以看出這一心理轉變的歷程。
前面已經說過他早年以司馬相如為"賦神"、"賦仙"，崇拜萬分，但在壯年以後，他以為"文麗用寡，長卿也"，"如也過以虛"，"過虛者華無根"，多是批評否定之詞。在《法言》中，揚雄對作賦之事進行了總結，認為作賦不過是"彫蟲篆刻"、"壯夫不為"之事而已，為則玩物喪志。可以看出，壯年的揚雄在對賦的態度上確乎有了很大轉變。但總結揚雄從早年到壯年關於賦的論說，卻又出現一個奇怪的現象。正如羅根澤先生所說："因此批評辭賦者，有的站在北方的'尚用'的立場，有的站在南方的'愛美'的立場。這種矛盾現象，竟會顯現於西漢殿軍之揚雄的一人意識。"這種現象其實不僅僅體現在揚雄一人之身，漢代不少知識分子身上均有這種矛盾現象。
揚雄從早年崇賦到後來悔賦當然是有原因的，這轉變的原因從大的方面講有兩個。第一，到壯年以後，揚雄思想更多轉到純儒家的思想，以思想家的揚雄否定辭賦家的揚雄。史書中謂："雄少而好學，不為章句，訓詁通而已自有大度，非聖哲之書不好也，非其意，雖富貴不事也。"好聖哲之書是他的個性與選擇，只是在早年沒有把聖哲之思想更多地用於辭賦而已，但這卻為其辭賦思想在壯年的轉變提供了堅強的基礎。揚雄在《法言》中反覆強調了"原道、征聖、宗經"這個儒家最根本的原則："捨舟航而濟乎瀆者，末矣；捨五經而濟乎道者，末矣委大聖而好乎諸子者，惡睹其識道也。"他以為五經就是道的化身與體現，故而一切以經為標準才能通向道。他又說："好書而不要諸仲尼，書肆也；好說而不要諸仲尼，說鈴也。""萬物紛錯，則懸諸天；眾言淆亂，則折諸聖。或曰：惡睹乎聖而折諸？曰：在則人，亡則書，其統一也。