大业十一年九月十八日，杨广从雁门郡抵达太原郡，是从太原直接回大兴，还是先回洛阳再回大兴，文武百官发生了分歧。在纳言苏威看来，大兴是京城所在，而关中则是全国大局的棋眼，只有关中这个眼做活了，安抚住了，全国的棋局才能活。事实证明，苏威是对的，跟前太史令庾质的观点一样，他们都知道大兴对王朝的重要性，而杨广却恰恰体会不到。其实杨广并不是完全体会不到，主要原因还是大兴这个城市给了他太多的压力。从十三岁封晋王开始，他就离开了大兴这个城市，从此对这个城市没有了认同感，而当他镇守江都时，大兴对他而言就是父皇居住的城市，是他的上级城市，每逢听到有使臣从大兴来，他既兴奋又忐忑，兴奋的是可以趁机在使臣面前好好表现，忐忑的是不知道使臣传达的是好消息还是坏消息。在压力中，杨广度过了十年镇守江都的生活，也正是在那时，他认定大兴不是他的城市。现在苏威建议直接回大兴，尽管他也知道关中的重要性，但皇帝的心事又有谁能读懂呢？还是有人能读懂，这个人就是老搭档宇文述。
宇文述这个人打仗是个狠人，不过给杨广出的主意一般都是馊主意，别的先不说，先看他给杨广出的最后四个主意。第一个主意：数千骑兵拥簇杨广突围。这个主意已经被证明是馊主意，真要那样，杨广的结局可能就是被东突厥俘虏，想在江都被弑都没有机会。第二个主意：从太原郡先回洛阳，然后再回大兴。自此杨广再也没有回过大兴，也再也回不去了，关中的眼没有做活，隋朝的棋局只有等死了。第三个主意：三下江都。自此全国政局已经不在皇帝掌握之中，在交通和通信都不发达的隋朝，以江都遥控大兴和洛阳，那是痴人说梦。第四个主意：请皇帝厚待三个儿子。这个主意使得杨广重新起用宇文化及，并委任其为右骁卫将军，正是在这个职位上，宇文化及发动江都兵变最后弑君。四个主意，四个馊主意，馊率达到百分之百，真可谓“宇文述出品，必是废品”。在宇文述的建议下，杨广决定先回洛阳，择机再回大兴，然而终其一生，他再也没有回去。抵达洛阳之后，杨广开始慵懒起来，以前“言必行，行必果”的皇帝变得言而无信，原本在雁门郡作出的承诺基本都不作数了。按照在雁门郡的承诺，将士们只要认真守城，皇帝全部重重有赏。
守城有功的人，无论平民还是士兵，直接升为六品，赏绸缎一百匹，有功的官员按品级逐级升迁。现在到了论功行赏的时候，杨广却变得小气起来，当时参加守城的士兵总共有一万七千人，全部兢兢业业地守城，然而杨广却只给了一千五百个嘉奖的指标，嘉奖率居然不到百分之十。就是这一千五百个士兵也没有得到当初约定的赏赐，杨广规定：第一次作战建功的升官一级，原先不是军官的此次只能升为从九品的立信尉（当初承诺是六品），累计立三次战功的可以升为从八品，参加作战但没有立功的，累计参加四次战役才能官升一级。本来不能按约升官已经让将士们非常郁闷，令他们更郁闷的还在后面，皇帝居然赖账了！每人赏绸缎一百匹的承诺居然作废了，一千五百人连个布头都没得到！仅此一项，杨广省下了十五万匹绸缎，却寒了全军的心。民部尚书樊子盖还在坚持给士兵赏赐，结果被皇帝一句话噎回去了：“难道你想收买军心？”“收买人心”，这帽子太大了，樊子盖万万戴不起，只能叩头请罪，仓皇离去。雁门承诺已成泡影，四征高丽却又成了皇帝的话题，自此皇帝威信日下，“出尔反尔，言而无信”却成了将士们议论的话题。士气可鼓不可泄，自此民心渐失，军心已远。