瓦崗軍首領翟讓，為人厚道，又喜歡結交英雄，翟讓在東郡附近的瓦崗寨，招集了一些貧苦農民，組織了一支起義隊伍。當地一些青年人，聽到這個消息，都來投奔他。
李密投奔翟讓以後，幫助翟讓整頓人馬，並對翟讓說：「從前劉邦、項羽，本來也是普通老百姓，後來終於*秦朝。現在皇上昏庸*，百姓怨聲載道，官軍大部分又遠在遼東。您手下兵強馬壯，要拿下東都和長安，打倒暴君，還不是輕而易舉的事！」翟讓於是起兵反隋，隋煬帝派大將張須陀帶大軍*翟讓大軍。
李密請翟讓擺開陣勢，正面迎擊敵人；他自己帶了一千人馬在滎陽大海寺北面的密林裡設下埋伏。張須陀也被起義軍打死了。經過這一場戰鬥，李密在瓦崗軍裡提高了威信。李密不但號令嚴明，而且生活樸素，凡是從敵人那裡繳獲來的錢財，他都分給起義將士。
隋王朝建造了一個最大的糧倉叫興洛倉也叫做洛口倉，倉城周圍二十多里，城裡挖了三千個大窖，每個窖裡貯藏著八千石糧食。這都是隋王朝多年來從各地農民身上搜刮來的血汗。李密於是提議攻打東都附近的興洛倉（在今河南鞏縣）。
攻打興洛倉的時候，翟讓、李密兩人帶七千名兵士原是流離失所的農民，一聽得攻打官府的糧倉，個個摩拳擦掌，勇氣百倍。他們向興洛倉發起猛攻。駐守在興洛倉的隋軍還想頑抗，但是怎麼也抵擋不住像插翅猛虎一般的瓦崗軍。興洛倉被攻破了。
瓦崗軍攻破興洛倉以後，立刻發佈命令，開倉分糧。兵士們打開一口口糧窖，讓老百姓盡情地拿。受饑挨餓的農民從四面八方擁向糧倉，前來領糧。大伙對瓦崗軍的感激心情，就不用提了。