匈奴自從給衛青、霍去病打敗以後，雙方有好幾年沒打仗。他們口頭上表示要跟漢朝和好，實際上還是隨時想進犯中原。
匈奴的單于一次次派使者來求和，可是漢朝的使者到匈奴去回訪，有的卻被他們扣留了。漢朝也扣留了一些匈奴使者。
公元前１００年，漢武帝正想出兵打匈奴，匈奴派使者來求和了，還把漢朝的使者都放回來。漢武帝為了答覆匈奴的善意表示，派中郎將蘇武拿著旌節，帶著副手張勝和隨員常惠，出使匈奴。
蘇武到了匈奴，送回扣留的使者，送上禮物。蘇武正等單于寫個回信讓他回去，沒想到就在這個時候，出了一件倒霉的事兒。
蘇武沒到匈奴之前，有個漢人叫衛律，在出使匈奴後投降了匈奴。單于特別重用他，封他為王。
衛律有一個部下叫做虞常，對衛律很不滿意。他跟蘇武的副手張勝原來是朋友，就暗地跟張勝商量，想殺了衛律，劫持單于的母親，逃回中原去。
張勝很表示同情，沒想到虞常的計劃沒成功，反而被匈奴人逮住了。單于大怒，叫衛律審問虞常，還要查問出同謀的人來。
蘇武本來不知道這件事。到了這時候，張勝怕受到牽連，才告訴蘇武。
蘇武說：「事情已經到這個地步，一定會牽連到我。如果讓人家審問以後再死，不是更給朝廷丟臉嗎？」說罷，就拔出刀來要自殺。張勝和隨員常惠眼快，奪去他手裡的刀，把他勸住了。
虞常受盡種種刑罰，只承認跟張勝是朋友，說過話，拚死也不承認跟他同謀。
衛律向單于報告。單于大怒，想殺死蘇武，被大臣勸阻了，單于又叫衛律去逼迫蘇武投降。
蘇武一聽衛律叫他投降，就說：「我是漢朝的使者，如果違背了使命，喪失了氣節，活下去還有什麼臉見人。」又拔出刀來向脖子抹去。
衛律慌忙把他抱住，蘇武的脖子已受了重傷，昏了過去。
衛律趕快叫人搶救，蘇武才慢慢甦醒過來。
單于覺得蘇武是個有氣節的好漢，十分欽佩他。等蘇武傷痊癒了，單于又想逼蘇武投降。
單于派衛律審問虞常，讓蘇武在旁邊聽著。衛律先把虞常定了死罪，殺了；接著，又舉劍威脅張勝，張勝貪生怕死，投降了。
衛律對蘇武說：「你的副手有罪，你也得連坐。」
蘇武說：「我既沒有跟他同謀，又不是他的親屬，為什麼要連坐？」
衛律又舉起劍威脅蘇武，蘇武不動聲色。衛律沒法，只好把舉起的劍放下來，勸蘇武說：「我也是不得已才投降匈奴的，單于待我好，封我為王，給我幾萬名的部下和滿山的牛羊，享盡富貴榮華。先生如果能夠投降匈奴，明天也跟我一樣，何必白白送掉性命呢？」
蘇武怒氣沖沖地站起來，說：「衛律！你是漢人的兒子，做了漢朝的臣下。你忘恩負義，背叛了父母，背叛了朝廷，厚顏無恥地做了漢奸，還有什麼臉來和我說話。我決不會投降，怎麼逼我也沒有用。」
衛律碰了一鼻子灰回去，向單于報告。單于把蘇武關在地窖裡，不給他吃的喝的，想用長期折磨的辦法，逼他屈服。
這時候正是入冬天氣，外面下著鵝毛大雪。蘇武忍饑挨餓，渴了，就捧了一把雪止渴；餓了，扯了一些皮帶、羊皮片啃著充飢。過了幾天，居然沒有餓死。
單于見折磨他沒用，把他送到北海（今貝加爾湖）邊去放羊，跟他的部下常惠分隔開來，不許他們通消息，還對蘇武說：「等公羊生了小羊，才放你回去。」公羊怎麼會生小羊呢，這不過是說要長期監禁他罷了。
蘇武到了北海，旁邊什麼人都沒有，唯一和他作伴的是那根代表朝廷的旌節。匈奴不給口糧，他就掘野鼠洞裡的草根充飢。日子一久，旌節上的穗子全掉了。
一直到了公元前８５年，匈奴的單于死了，匈奴發生內亂，分成了三個國家。新單于沒有力量再跟漢朝打仗，又打發使者來求和。那時候，漢武帝已死去，他的兒子漢昭帝即位。漢昭帝派使者到匈奴去，要單于放回蘇武，匈奴謊說蘇武已經死了。使者信以為真，就沒有再提。
第二次，漢使者又到匈奴去，蘇武的隨從常惠還在匈奴。他買通匈奴人，私下和漢使者見面，把蘇武在北海牧羊的情況告訴了使者。使者見了單于，嚴厲責備他說：「匈奴既然存心同漢朝和好，不應該欺騙漢朝。我們皇上在御花園射下一隻大雁，雁腳上拴著一條綢子，上面寫著蘇武還活著，你怎麼說他死了呢？」
單于聽了，嚇了一大跳。他還以為真的是蘇武的忠義感動了飛鳥，連大雁也替他送消息呢。他向使者道歉說：「蘇武確實是活著，我們把他放回去就是了。」
蘇武出使的時候，才四十歲。在匈奴受了十九年的折磨，鬍鬚、頭髮全白了。回到長安的那天，長安的人民都出來迎接他。他們瞧見白鬍鬚、白頭髮的蘇武手裡拿著光桿子的旌節，沒有一個不受感動的，說他真是個有氣節的大丈夫。