玄武是一種由龜和蛇組合成的一種靈物。玄武的本意就是玄冥，武、冥古音是相通的。武，是黑的意思；冥，就是陰的意思。玄冥起初是對龜卜的形容龜背是黑色的，龜卜就是請龜到冥間去詣問袓先，將答案帶回來，以卜兆的形式顯給世人。因此，最早的玄武就是烏龜。以後，玄冥的含義不斷地擴大。龜生活在江河湖海（包括海龜），因而玄冥成了水神；烏龜長壽，玄冥成了長生不老的象徵；最初的冥間在北方，殷商的甲骨占卜即「其卜必北向」，所以玄冥又成了北方神。
它和其他三靈一樣，玄武也由天下二十八星宿變成的斗、牛、女、虛、危、室、壁。而古時後的人對玄武牠的解釋有以下的數種，「玄武」即龜。《禮記曲禮上》云「行，前朱鳥而後玄武」「玄武」乃龜蛇。《楚辭遠遊》洪興祖補注「玄武，謂龜蛇。位在北方，故曰玄。身有鱗甲，故曰武。「玄武」為蛇合體、龜與蛇交。
《文選》卷十五張衡《思玄賦》曰「玄武宿於殼中兮，騰蛇蜿蜒而自糾。」李善注云「龜與蛇交曰玄武。」《後漢書王梁傳》「《赤伏符》曰「王梁主衡作玄武。」」李賢注云「亡武，北方之神，龜蛇合體。」「玄武」為水神、北方之神。《後漢書王梁傳》「玄武，水神之名。」《重修緯書集成》卷六＜河圖帝覽嬉＞「北方玄武所生，鎮北方，主風雨。」
但玄武被後世的道士們升級做北方的大帝「真武大帝」。有別於其他三靈。其他的青龍和白虎，只做了山廟的門神，而朱鳥就成了又天玄女。
玄武在宋代身價培增，並被人格化。這與宋代各帝推波助瀾分不開。宋初太祖時，即有真武、天蓬等為天之大將的傳說。未真宗天禧元年，在軍營中發生了一件事。在《事物紀原》卷七載「營卒有見蛇者，軍士因其建真武堂。二年閏四月，泉湧堂側，汲不竭，民疾疫者，飲之多癒。」真宗聽說此事，下詔就地建觀，賜名「祥源」。這大約是中國最早的真武廟。
真武大帝的身世，後人多說是在隋煬帝時，玉帝將自己的三魂之一，化身投胎於掙樂國皇后，厭惡塵世，捨位入武當山上修行，成功飛昇，鎮守北方，號曰玄武。