在刘娥说服元休接潘妃回府之前，刘夫人和韩王府内的属官都曾做过类似规劝。奈何元休只觉得对刘娥愧疚万分，潘夫人接女儿回府时，他正好乐得与潘妃永不相见才好。可潘王妃毕竟是由官家赐婚的堂堂正正韩王妃，虽说元休也不断派人送去名贵药材什么的，但是论起夫妻礼数、人伦礼法，他又属理亏一方。两下为难，竟让他寝食难安，食不知味。
没想到刘娥竟如此大度，顾全大局；主动规劝他在冬至节日前接潘妃回府。潘府内潘美也有几房妾室，俗话说嫁出去的女儿泼出去的水，潘夫人再疼爱女儿，毕竟府内也是人多嘴杂，若是出阁的姑娘常住娘家，终究不是长久之计。故而韩王上门，便以夫妻当以和睦为贵之语规劝潘妃后返回王府。让元休始料未及的是，潘妃的病情竟渐渐成了症候。
事实果如刘娥所料，潘妃之病，最忌情志郁结。偏她素来性情高傲，又从小娇生惯养，所愿不遂，忧思伤脾，日久耗伤心血，心失所养，常觉心悸不安，好不容易熬过了寒冷的冬天，那病情竟一日重似一日。元休本为性情淳厚之人，虽说恼怒潘妃驱逐刘娥之恶，但也念及夫妻情分，时常宽慰一二。奈何潘妃执念已深，只觉得元休的宽慰并非出自真心，不过是顾忌她的父帅在外征战罢了。好几次元休的探视，都以不欢而散收场。
潘妃寄希望于爹爹凯旋还朝，建立不朽功勋，到时候朝廷重视，百官侧目，那样她就能在王爷面前挺直腰杆扬眉吐气，整个王府还不是她一人说了算吗。潘妃就这样满怀希望地等着，等着她父帅得胜还朝的日子。
可是潘妃等的这一天，却一直没有到来。春天总是短暂的，匆匆而过，直到五月中旬，天气渐热，前线却传来北伐失利的消息。
依着太宗初期的军事部署，宋军兵分三路。西路军由潘美、杨业率领，直奔辽国西京大同。中路军主帅田重进，策应东西两路人马。东路军由曹彬率领，采取缓慢行军战术，虚张声势，以牵制辽军主力。东路军有兵力十万，是主力部队。他们的任务是稳扎稳打，步步为营。吸引辽军，将辽军主力吸引在幽州地区。而中路、西路则需要速战速决。在最短时间完成任务，然后向东路靠近，汇集人马，共同挺进幽州。
战争开始不久，西路军收复了云、应、寰、朔等四州；中路军也攻下了飞狐、灵丘、蔚州。眼见潘美、田重进部捷报频传，曹彬所部副将崔彦进心中着急，提议加速行军，一时间，东路军中部分将士立功心切，出现了不同意见，军心不能统一。曹彬在诸将劝说之下，没能坚持住稳扎稳打的原则，连续攻克新城、固安，四月已经围住涿州，但是由于辽军坚守，不能迅速攻克，雪上加霜的是，东路军粮草被辽国名将耶律休哥拦截。经过二十余日的奔走、拼杀，东路军已经人困马乏。与此同时，辽军在萧太后率领下御驾亲征，迅速与耶律休哥汇合，在岐关沟一带大败曹彬。东路军全面溃败。
曹彬大军的惨败，引发一系列连锁反应，使得原计划中三军会师幽州城的布置化为泡影。萧太后在岐关沟大败曹彬后，没有穷追猛打，而是采取“各个击破”的战略，先后派出两部突击队增援蔚州，转战西路军潘美、中路军田重进。而太宗得知东线全面溃败之后，马上下令退兵，以保存实力。中路军田重进撤军退还定州，西路军潘美部退还代州，对萧太后采取全面防守。潘美部全线撤军时，还接到太宗一道旨意，就是要他在撤军之时，还要护送寰、朔、云、应等四州平民百姓重返故土。因着这一重要任务，使得潘美部成为辽军的重点攻击目标，除了让潘美部损失惨重之外，还直接导致大宋丧失了一员骁勇善战的大将，这员大将就是多次让辽军闻风丧胆的杨业。
杨业本为北汉刘崇的部下，深得刘崇信任和重用，并得以赐姓刘，名继业。太宗平定北汉，北汉主刘继元投降，唯刘继业苦战不屈。太宗派刘继元亲自招降，刘继业才落泪放下武器归宋。刘继业降宋后，恢复本姓杨，因为了避讳当今皇帝祖讳，去继字，单名一个业字。杨业在北汉时就驻守北方，对防御辽国有丰富经验。早在太平兴国五年，辽国发兵十万攻打雁门关。杨业率领小股骑兵绕到雁门关以北，往南突袭辽军，与潘美前后夹击，大败辽兵，杀死辽国驸马侍中萧咄李，活捉马步军都指挥史李重诲。杨业也因此升职为云州观察使。辽人深惧杨业，并称其为杨无敌。
在辽军压境，势头正盛之时，潘美和杨业若想安然无恙护送诸州百姓成功入关，绝非易事。可圣命难违，杨业苦思冥想，想出了一条“分流而出、声东击西、一举破敌”的计策：根据实际情况，分先后遣送百姓，按照先远后近的原则。这一撤军方案是符合实际情况，如果先近后远，往往会失去照应，容易被围剿。声东击西，即以军队吸引辽军主力，趁机遣送百姓入关。所谓一举破敌，即在朔州南五十里一个叫石碣谷的地方，埋伏弓箭手，并辅以骑兵之援助。
杨业的提议思路周密，潘美打心眼里是赞同的。但是监军王侁和副将刘文裕却不以为然。王侁原为田仁朗部下，因为构陷主帅取而代之，虽说将李继迁杀得大败，到底没有一举歼灭而终成大宋隐患。王侁却因此军功而深得太宗信任，此次伐辽，随军成为西路军监军。刘文裕因擒获李飞雄有功，迁军器库使。刘文裕此时也立功心切，觉得有必要同辽军再打一次大胜仗，才能风风光光地退回代州，他的想法和王侁不谋而合。所以身为监军的王侁要求宋军从雁门关北川大路进军，直接迎敌。
熟知辽军战法之人的杨业却认为如果这么做，则必败无疑。王侁毫不留情地讽刺杨业：“你既然被称为无敌将军，又领兵数万，现在却唯唯诺诺，不敢出兵，难道是想投敌叛国吗？”
“投敌叛国”这个罪名太大了，杨业可承受不起。他激愤难当，也为了表明忠心，明知道出战必败，还是答应出战了。
在王侁和杨业的这场争执中，潘美作为主帅，明知道王侁是在挤兑杨业，他却无能为力。因为王侁监的这个军，不是军队，而是他这个统帅潘美。如果他维护了部下杨业，谁又能保证作为太宗耳目的王侁不会诬告他这个主帅？毕竟田仁朗的悲剧，才刚刚在大宋朝堂上演不久。再则说了，想杨业与辽国交战多年，经验丰富，此次出战，或许能取得胜利，作为主帅的他也算得上军功一件。怀着这种复杂矛盾的心理，潘美同意了杨业的出战请求。
临行前，杨业哭着对主帅潘美说：“这次出战一定不利。但是我作为一个降将，早就该死了，承蒙陛下赏识，非但没有杀我，还授予我军权。我并非不想杀敌，只是想着为国立功以报君恩。现在，大家都责备我不敢出战，我只有先行报效国家了。”于是，他指着陈家谷口说，诸位请在此埋伏，等我转战至此，请诸君两面夹击。否则，我们一个人也活不下来。潘美当场答应了杨业的要求。
就这样，带着顾虑，带着表白自己的决心，杨业领兵奔朔州而去。杨业与辽将耶律斜轸在朔州东部遭遇，经过半天的浴血奋战，死伤多人，终于冲出重围，杀至陈家谷。当精疲力竭、饥肠辘辘的杨业军队来到陈家谷时，并没有看到接应的宋军。此时追兵又至，悲恸不已的杨业只得率领军士奋起杀敌，终因寡不敌众，几乎全军覆没。此战，杨业儿子杨廷玉、岳州刺史王贵均力战而死，将士们无一生还。杨业本人身中数十处刀箭之伤，手刃辽兵数百人，最终因重伤被俘。被俘后的杨业宁死不屈，绝食三日而亡。辽军克星，一代将星就这样陨落了。