漢武帝初年的時候，匈奴中有人投降了漢朝。漢武帝從他們的談話中知道一點西域（今新疆和新疆以西一帶）的情況。他們說有一個月氏（音ｙｕe－ｚｈī）國，被匈奴打敗，向西逃去，定居在西域一帶。他們跟匈奴有仇，想要報復，就是沒有人幫助他們。
漢武帝想，月氏既然在匈奴西邊。漢朝如果能跟月氏聯合起來，切斷匈奴跟西域各國的聯繫，這不是等於切斷了匈奴的右胳膊嗎？
於是，他下了一道詔書，徵求能幹的人到月氏去聯絡。當時，誰也不知道月氏國在哪兒，也不知道有多遠。要擔負這個任務，可得有很大的勇氣。
有個年青的郎中（官名）張騫（音ｑｉāｎ），覺得這是一件有意義的事，首先應徵。有他一帶頭，別的人膽子也大了，有一百名勇士應了征。有個在長安的匈奴族人叫堂邑父，也願意跟張騫一塊兒去找月氏國。
公元前１３８年，漢武帝就派張騫帶著一百多個人出發去找月氏。但是要到月氏，一定要經過匈奴佔領的地界。張騫他們小心地走了幾天，還是被匈奴兵發現圍住了，全都做了俘虜。
匈奴人沒有殺他們，只是派人把他們分散開來管住，只有堂邑父跟張騫住在一起，一住就是十多年。
日子久了，匈奴對他們管得不那麼嚴。張騫跟堂邑父商量了一下，瞅匈奴人不防備，騎上兩匹快馬逃了。
他們一直向西跑了幾十天，吃盡苦頭，逃出了匈奴地界，沒找到月氏，卻闖進了另一個國家叫大宛（在今中亞細亞）。
大宛和匈奴是近鄰，當地人懂得匈奴話。張騫和堂邑父都能說匈奴話，交談起來很方便。他們見了大宛王，大宛王早就聽說漢朝是個富饒強盛的大國，這回兒聽到漢朝的使者到了，很歡迎他們，並且派人護送他們到康居（約在今巴爾喀什湖和鹹海之間），再由康居到了月氏。
月氏被匈奴打敗了以後，遷到大夏（今阿富汗北部）附近建立了大月氏國，不想再跟匈奴作戰。大月氏國王聽了張騫的話，不感興趣，但是因為張騫是個漢朝的使者，也很有禮貌地接待他。
張騫和堂邑父在大月氏住了一年多，還到大夏去了一次，看到了許多從未見到過的東西。但是他們沒能說服大月氏國共同對付匈奴，只好回來。經過匈奴地界，又被扣押了一段時間，幸好匈奴發生了內亂，才逃出來回到長安。
張騫在外面足足過了十三年才回來。漢武帝認為他立了大功，封他做太中大夫。
張騫向漢武帝詳細報告了西域各國的情況。他說：「我在大夏看見邛山（在今四川省，邛音ｑｉoｎｇ）出產的竹杖和蜀地（今四川成都）出產的細布。當地的人說這些東西是商人從天竺（就是現在的印度）販來的。」他認為既然天竺可以買到蜀地的東西，一定離開蜀地不遠。
漢武帝就派張騫為使者，帶著禮物從蜀地出發，去結交天竺。張騫把人馬分為四隊，分頭去找天竺。四路人馬各走了兩千里地，都沒有找到。有的被當地的部族打回來了。
往南走的一隊人馬到了昆明，也給擋住了。漢朝的使者繞過昆明，到了滇越（在今雲南東部）。滇越國王的上代原是楚國人，已經有好幾代跟中原隔絕了。他願意幫助張騫找道去天竺，可是昆明在中間擋住，沒能過去。
張騫回到長安，漢武帝認為他雖然沒有找到天竺，但是結交了一個一直沒有聯繫過的滇越，也很滿意。
到了衛青、霍去病消滅了匈奴兵主力，匈奴逃往大沙漠北面以後，西域一帶許多國家看到匈奴失了勢，都不願意向匈奴進貢納稅。漢武帝趁這個機會再派張騫去通西域。公元前１１９年，張騫和他的幾個副手，拿著漢朝的旌節，帶著三百個勇士，每人兩匹馬，還帶著一萬多頭牛羊和黃金、錢幣、綢緞、布帛等禮物去結交西域。
張騫到了烏孫（在新疆境內），烏孫王出來迎接。張騫送了他一份厚禮，建議兩國結為親戚，共同對付匈奴。烏孫王只知道漢朝離烏孫很遠，可不知道漢朝的兵力有多少強。他想得到漢朝的幫助，又不敢得罪匈奴，因此烏孫君臣對共同對付匈奴這件事商議了幾天，還是決定不下來。
張騫恐怕耽誤日子，打發他的副手們帶著禮物，分別去聯絡大宛、大月氏、于闐（在今新疆和田一帶，闐音ｔｉaｎ）等國。
烏孫王還派了幾個翻譯幫助他們。
這許多副手去了好些日子還沒回來。烏孫王先送張騫回到長安，他派了幾十個人跟張騫一起到長安參觀，還帶了幾十匹高頭大馬送給漢朝。
漢武帝見了他們已經很高興了，又瞧見了烏孫王送的大馬，格外優待烏孫使者。
過了一年，張騫害病死了。張騫派到西域各國去的副手也陸續回到長安。副手們把到過的地方合起一算，總共到過三十六國。
打那以後，漢武帝每年都派使節去訪問西域各國，漢朝和西域各國建立了友好交往。西域派來的使節和商人也絡繹不絕。中國的絲和絲織品，經過西域運到西亞，再轉運到歐洲，後來人們把這條路線稱作「絲綢之路」。