乾祐三年（950年），后漢隱帝劉承佑猜忌輔政大臣兼后漢第一名將郭威，將郭威留在都城汴梁（今開封）的家屬全部處死，并派刺客到郭威軍中刺殺郭威，不料刺客突然「反水」，將劉承佑的計劃和盤托出，郭威被突如其來的變故逼反，遂于自己的根據地鄴都（今河北大名東北）以「清君側」的名義起兵。次年，攻入汴梁，建立后周王朝。

郭威稱帝后，后漢王朝的締造者劉知遠的弟弟，河東節度使劉崇也據河東（今山西）稱帝，仍沿用后漢的乾祐年號，史稱北漢。北漢承襲于劉知遠的后漢、后漢承襲于石敬瑭的后晉、后晉承襲于李存勖后唐、后唐承襲于李克用的河東軍，再加上北漢的轄區基本與李克用時代的河東軍轄區一致，且李克用、李存勖、石敬瑭、劉知遠都是以河東為基地問鼎天下的。北漢可以稱得上是唐末五代聲動天下的河東軍最后的「倔強」和「余暉」了，劉崇也希望復刻千人的奇跡。

北漢立國伊始就與占據中原的后周有著不可調和的矛盾，雙方不可能和平共處，就在郭威稱帝的當年，劉崇就率軍攻打后周靠近北漢轄區的晉州和隰州，卻被周軍擊退。

后周顯德元年（954年），郭威去世，養子柴榮繼位，是為后周世宗，劉崇趁機集中北漢全部精銳3萬人及遼國1萬騎兵，攻打后周。劉崇先勝后敗，在高平被柴榮大敗，北漢第一名將武寧節度使張元徽被周軍陣斬，劉崇僅帶數百隨從逃回晉陽（今太原），3萬大軍全軍覆沒。

高平之戰后，北漢元氣大傷，劉崇不得不忍辱負重對遼國稱臣，以換取遼國的保護。不久后，劉崇去世，其子劉承鈞繼位。劉承鈞奉行休養生息策略，減少對外戰爭，積極積蓄實力。與此同時，柴榮正在對后蜀、南唐以及遼國用兵，一時無暇顧及北漢，雙方進入難得的和平時期。

顯德六年（959年），柴榮去世，年僅6歲的柴宗訓繼位。次年，柴榮生前最信任的將領、掌管后周禁軍的殿前都點檢趙匡胤在陳橋驛發動兵變，建立大宋王朝，是為宋太祖。

趙匡胤掌權后多次發動對北漢的征討，試圖拔掉這個插在中原頭頂的釘子，但皆無功而返，太原城成了中原軍隊心中得「夢魘」。從朱溫時代開始，中原軍隊死活就從未攻下過太原，反而是河東的軍隊每每從太原出發，多次攻下了洛陽和汴梁。

最終，趙匡胤只得擱置北漢問題，采用「先南后北」的統一戰爭方略，將南方割據政權當做首先打擊目標。

公元976年，49歲趙匡胤突然去世，其弟趙光義繼位，是為宋太宗。趙光義接過哥哥的權杖，繼續統一戰爭的步伐，在全部統一南方后，于廣運六年（979年），親率數十萬宋軍攻打北漢。宋軍在晉陽城下大破遼國援軍，斬斷北漢的外援。而后，宋軍合圍晉陽，晉陽城內的北漢守軍陷入彈盡糧絕的境地，最終北漢末代皇帝劉繼元只得開城投降趙光義，宋軍終于進入了這座倔強的城市，北漢滅亡，立國28年。中原也換了2個王朝（后周、大宋），北漢以一隅之地抗衡后周、大宋28年，硬剛柴榮、趙匡胤兩位當時最能打的皇帝，誠可謂五代版的「超級小國」也。