有人欢喜有人忧，有人欢乐就有人愁，随着杨玄感的覆灭，清算杨玄感党羽的工作随之展开，在这个多事之秋，有一个人渐渐得到了皇帝的信任，这个人就是本朝表哥李渊。李渊在外放任上顺风顺水，先后出任过谯、陇二州刺史，皇帝杨广继位后他又先后任岐州刺史，荥阳、楼烦太守。按照隋朝官制，岐州，荥阳都是上等的大郡，仅次于大兴、洛阳、江都这样的特别郡，李渊能做到岐州和荥阳的太守说明表弟杨广对他还比较信任。然而表兄弟之间的信任并没有维持多久，在李渊出任荥阳太守后不久，他就被调任到了楼烦，从一个发达大郡一下调到了一个偏远小郡，说明表弟杨广开始不信任他了，而李渊的宦海生涯似乎也到了头。在这段时间里，李渊一直很郁闷，天天生活在朝不保夕的日子里，他始终不明白，为什么表弟会把他从大郡荥阳调到偏远的楼烦，这又是为什么呢？其实什么都不为，只因为皇帝杨广的猜忌心，嫉妒是杨家女人的天性，而猜忌则是杨家男人的天性。
李渊的妻子窦氏曾经劝李渊送皇帝几匹马，李渊摇摇头拒绝了，他知道皇帝杨广的猜忌并不是几匹马可以去除的，他所能做的只能是听天由命了。后来，李渊被皇帝调回京城大兴，先后出任殿内少监（宫廷供应部副部长）、卫尉少卿（军械供应部副部长），跟以前地方大员的身份相比，现在的角色相当于宫廷打杂。人生的落差巨大，然而李渊也只能坦然面对，在他看来，假如你无力改变生活，那么不妨换一个角度，学会享受生活。几年的宫廷生活下来，李渊适应了混在宫内的日子，如果不是杨玄感谋反，混子李渊可能还会继续混下去，而现在日子混不下去了，皇帝杨广要起用他。在清算杨玄感余党的过程中，皇帝杨广认定弘化郡留守元弘嗣是叛徒斛斯政的亲戚，既然是亲戚那么就是同党（倒霉的亲戚）。盘算了一圈身边的人，皇帝杨广悲哀地发现，值得他信任的人根本没有几个，没有办法，只能起用那个长得像老太太的李渊了。为什么说李渊长得像老太太呢？这里面有一个典故，还得从一次朝堂会见说起。当时李渊正跟其他大臣一起朝见皇帝，杨广也很平易近人地跟大家聊天。
大家正说的兴起，突然皇帝杨广死盯着李渊看，李渊顿时被他看得发毛，以为有什么大事要发生，朝廷之上顿时安静了下来。突然皇帝杨广大笑了起来，指着李渊大声说：“阿婆目！”意思就是说李渊的脸长得像老太太。当时李渊的皮肤有些松弛，可能是因为饮酒过多。皇帝一笑，大臣们也跟着笑了起来，叫了起来，自此“阿婆目”的外号就一直伴随着李渊，一直伴随到他登基称帝。后世很多人怀疑李渊的能力，有一部分原因可能也跟李渊长得像老太太有关。现在“老太太”李渊终于枯木逢春，皇帝杨广派他前往弘华郡逮捕元弘嗣，就地接替元弘嗣弘化留守的职位。
弘化留守权力非常大，辖区下辖潼关以西的十三个郡，这十三个郡的军队全由李渊指挥，这样李渊的身份就从一个宫廷打杂变成了大军区司令，久违的春风得意终于又回来了。上任伊始，李渊继续了自己的好人缘，很快就跟当地的官员和将领打成一片，然而屁股还没坐热，皇帝杨广的命令又来了：就地免去弘化留守职位，回京复职。得，做梦娶媳妇，醒来都是梦。然而，事情一旦开头就不会结束，尽管皇帝杨广对李渊还是猜忌，但形势的恶化已经不容许他继续猜忌下去，两年之后皇帝杨广还是再次起用李渊，等待多年的李渊终于等到了机会。机会本无所谓有，也无所谓无，只要肯努力，总会有机会。