五代那個時候，後漢與遼朝兩國經常互相遣使往來，關系還是蠻好的。
後周建立初也友好如初，遼使曾到京城開封，後周太祖郭威也派使節赴遼，之後往還頻繁。
直到959年，周世宗柴榮進攻遼朝，兩國才中斷往來。
宋朝建立之初，宋太祖老趙認為的當務之急是要消滅南方那些割據政權。
統一戰爭中，他的預定計劃是先南後北，先取南方後蜀荊湖南唐等，後圖北漢，最後才是向遼國索要兒皇帝石敬瑭割給遼國的燕、雲十六州。
為了確保計劃順利實施，對於遼國，才能趙決定以防禦為主。
他安排橫海軍節度使陳思讓為關南兵馬都部署，集結滄州，負責對遼的軍事防務，又安排侍衛馬步軍都指揮使韓令坤負責北方邊境的巡防，只要你不打我，我就懶得理你。
不過，無論情況怎樣變化，有一個想法他是始終沒有變的，那就是對要回燕、雲十六州的決心。
他著眼長遠，作了兩手準備，一是用錢贖回，二是如贖不回，那就兵戎相見。
為此，他成立了一個特別機構，叫作『封樁庫』，他把南征那些國家搶來的錢存進這個『封樁庫』，又將每年財政的盈餘部分存在裡面，打算積攢到五百萬緡的時候，就用這筆錢贖回燕、雲十六州，萬一遼國不答應，那就用這些錢招募勇士，廣置兵甲，強行攻取。
於是，宋初除了在宋軍討伐北漢時，阻擊南下援救北漢的遼軍時發生過戰鬥外，老趙死前，宋遼之間雖無官方交往，又偶有局部沖突，但民間的邊境貿易還是允許的。
其間，還有一件事老趙做得很搞笑，就是在965年，遼軍到宋朝的易州抓了一些老百姓北去，老趙竟然命令監軍李謙昇帶了一支隊伍跑到遼國，也抓了數目一樣的遼國老百姓回來，以牙還牙，報了這一抓之仇。
這時，兩國的情況均是以防禦為主。
後來，關系終於有了改善。
974年，遼國與雄州相鄰的涿州刺史耶律合住寫信給宋朝雄州知州孫全興，說遼宋本無絲毫嫌隙，如果我們兩國通使，相互轉達兩國元首的思想，國家睦鄰友好，百姓安居樂業，豈不是好。
遼國伸出了橄欖枝，表達了修好之意。
在外交這種大事上，孫全興一介放火州官，他是作不了主的，因此，快馬加鞭，趕快把耶律合住的信送到老趙手裡。
當時，老趙正為打南唐的事焦頭爛額，遼國來書，正合他意，他讓孫全興趕快回信，開始初步接洽，表示願意修好。
於是，975年元旦，宋朝派人出使遼國慶賀元旦，隨後遼國也派克妙骨慎思出使宋朝。
老趙非常重視外交，聽說遼使來了，立即派人迎接，克妙骨慎思到京後，又兩次親自接見他，邀請他觀看騎射之類的娛樂節目。
當年七月，老趙派大臣郝崇信和呂端出使遼朝，開始了宋遼雙方國家層面的交往，兩國邦交才真正走向正常化。
然而，宋太宗二趙在979年率軍親征北漢，遼國出兵支援北漢，兩國又打了起來，從此，戰禍陡起，友好鄰邦成了疆場死敵，外交中斷。