王莽的殘酷壓搾，加上一連串的天災，逼得農民走投無路，紛紛起義。東方和南方都有大批的農民起來反抗官兵。
公元１７年，南方荊州鬧饑荒，老百姓不得不到沼澤地區挖野荸薺充飢。人多野荸薺少，引起了爭奪。新市（今湖北京山東北）有兩個有名望的人，一個叫王匡，一個叫王鳳，出來給農民調解，受到農民的擁護。大家就公推他們當首領。
王匡、王鳳就把這批饑民組織起來起義，一下子就聚集了好幾百人，還有一些逃亡的犯人也來投奔他們。
王匡他們佔領了綠林山（今湖北大洪山）作為根據地，攻佔附近的鄉村。不到幾個月工夫，這支起義軍發展到七八千人。
王莽派了兩萬官兵去圍剿綠林軍，被綠林軍打得大敗而逃。綠林軍趁勢攻下了幾座縣城，打開監獄，放出囚犯；把官家糧倉裡的糧食，一部分分給當地窮人，大部分搬到綠林山。投奔綠林山的窮人越來越多，起義軍增加到五萬多。
第二年，綠林山上不幸發生了疫病，五萬人差不多死了一半。還有一半只好離開綠林山，後來分作三路人馬——新市兵、平林（在今湖北隨縣東北）兵和下江（長江在湖北西部以下叫下江）兵。這三路人馬各自佔領一塊地盤，隊伍又強大起來了。
當南方的綠林軍在荊州一帶打擊官兵的時候，東方的起義軍也壯大起來。琅琊海曲（今山東日照縣）有個姓呂的老大娘，兒子是縣裡的一個公差，因為沒肯依縣官的命令毒打沒錢付稅的窮人，被縣官殺害了。這一來激起了公憤。有上百個窮苦農民起來替呂母的兒子報仇，殺了縣官，跟著呂母逃到黃海，一有機會就上岸打官兵。
這時候，另一個起義領袖樊崇帶領幾百個人佔領了泰山。呂母死了後，她手下的人投奔樊崇起義軍。不到一年工夫，就發展到一萬多人，在青州和徐州之間來往打擊官府、地主。
樊崇的起義軍很講紀律，規定誰殺死老百姓就要被處死，誰傷害老百姓就要受罰。所以，百姓能擁護他們。
公元２２年，王莽派太師王匡（和綠林軍中的王匡是兩個人）和將軍廉丹率領十萬大軍去鎮壓樊崇起義軍。樊崇作好準備，跟官兵大戰。為了避免起義兵士跟王莽的兵士混雜，樊崇叫他的部下都在自己的眉毛上塗上紅顏色，作為識別的記號。這樣，樊崇的起義軍得了一個別名，叫「赤眉軍」。
王莽的軍隊和赤眉軍打了一仗。結果，官兵打了敗仗，逃散了一大半。太師王匡的大腿被樊崇紮了一槍，逃了回去；將軍廉丹在亂軍之中被殺了。赤眉軍越打越強，發展到了十多萬人。
綠林、赤眉兩支起義大軍分別在南方和東方打敗王莽軍的消息一傳開，別地方的農民也都活躍起來。黃河兩岸的大平原上大大小小起義軍有幾十路。有一批沒落的貴族和地主、豪強也趁機起兵，反對王莽。
南陽郡舂陵（今湖南寧遠北）鄉的豪強劉-（音ｙǐｎ）、劉秀兄弟兩人，因為王莽廢除漢朝宗室的封號，不許劉姓人做官，心裡怨恨，發動族人和賓客七八千人在舂陵鄉起兵。他們和綠林軍三路人馬聯合起來，接連打敗了幾名王莽的大將，聲勢就強大起來了。
綠林軍的幾支隊伍沒有統一的指揮。將士們認為人馬多了，必須有個首領，才能統一號令。一些貴族地主出身的將軍，利用當時有些人的正統觀念，認為一定要找一個姓劉的人當首領，才能符合人心。
綠林軍裡姓劉的人很多，該推誰做首領呢？舂陵兵想推劉-，可是新市和平林兵的將領怕劉-勢力太大，一定要立一個破落的貴族劉玄做皇帝。劉-又提出等消滅了王莽、收服赤眉軍以後，再立皇帝，也遭到反對。劉-覺得自己力量不夠，也只好同意了。
公元２３年，綠林軍各路將士就正式立劉玄做皇帝，恢復漢朝國號，年號「更始」，所以劉玄又稱更始帝。更始帝拜王匡、王鳳為上公，劉-為大司徒，劉秀為太常偏將軍，其他將領也各有各的封號。
打那時候起，綠林軍又稱為漢軍。