再说现在外边都在传李姓当王，右骁卫大将军李浑没有什么过失就被满门抄斩，现在皇帝对李姓的大臣和将军都起了杀机，父亲您还以为自己高枕无忧吗？眼下之计只有采用我昨天说的方法才能转危为安，事不宜迟，不要犹豫了！”其实不用李世民说，李渊也很清楚这些道理，他知道，无论是在战场，还是在现实中，只有刀把握在自己手里才是最安全的。如果刀把握在别人的手里，需要依赖别人的宽恕才能活命，那就始终是不安全的。李渊悠悠地对李世民说：“吾一夕思汝言，亦大有理。今日破家亡躯亦由汝，化家为国亦由汝矣！”这是李渊第一次比较清楚的表态，实际上他知道，不到万不得已决不能造反，实在是已经没有安全感了，那就跟儿子一起反了。李渊正在烦恼的时候，老友裴寂又来了，裴寂也是来做他的工作的。裴寂先给他交了一个底，这此交底让李渊吓了一跳。裴寂告诉李渊，上次喝酒之后他安排陪李渊上床的那两个美女其实是晋阳宫的宫女，也就是说李渊睡了皇帝杨广的宫女，给皇帝戴了两顶绿帽子。
裴寂的话让李渊直冒冷汗，“侵犯宫女”可是死罪啊，那是给皇帝戴绿帽子啊！看李渊有些含糊，裴寂又加了一把火：“你家二小子李世民最近正在私下招募兵马，打算创立大业，这事如果让皇帝知道就是死罪；我安排宫女陪侍你，如果让皇帝知道也是死罪。我跟世民已经通过气了，我们决定一起干，就差你表个态了！”看着一本正经的裴寂，李渊意识到，自己是被裴寂和自己的儿子算计了，只可惜他们的算计多余了。即使他们不算计，不筹划，李渊也在心里自己筹划，他比李世民他们更清楚国内的形势，至于直指关中的布局他也曾盘算过，别忘了当年杨玄感起义的全过程他都关注过，杨玄感的棋没做活，主要就是关中的眼没有做活。事已至此，李渊就坡下驴：“吾儿诚有此谋，事已如此，当复奈何，正须从之耳。”就在李渊着手准备的时候，皇帝杨广的诏书又来了，着太原副留守王威将李渊、高君雅解赴江都问罪。得知消息之后，李世民火速拜见李渊，敦促父亲马上起兵。只要大旗一举，各地起义军必定纷纷归降，再加上裴寂在晋阳宫积累的财富，大事必成，千万不能拘泥小节，被朝廷使节抓走，那可就什么都晚了。
忍无可忍，那就无须再忍，没有安全感的李渊决定起兵，命李世民暗中准备。然而就在这时，杨广的使节又来了，宣布赦免李渊，既往不咎，即日起官复原职！得，这下起兵又没有理由了，暂时又安全了，李渊又紧急通知李世民，少安毋躁，先观望一段再说。平静下来的李渊没有停止思考，他又想起了很多往事。前年当河东讨捕使时，大理司直夏侯端当他的副手，两人曾经有过一次深谈。夏侯端精通天象、占卜、面相，对李渊非常看好。
他告诉李渊，夜观天象，帝星不稳，而晋阳上空却有异象，恐怕对应的就是你，现在皇帝忌恨李姓大臣和将军，李浑已经死了，下一个有名望有能力的可就是你了！当然天象可能就是说辞，乱世之中很多人都想押宝，寻找大富贵的机会！去年李渊当上太原留守之后，鹰扬府司马许世绪也曾经劝过李渊：“外面都在传言李姓当王，而你又拥有太原郡、雁门郡、马邑郡、楼烦郡、西河郡五郡的兵马，如果以这些资源起事，可以成就帝王的大业，如果待在原地不动，这些地方四周都可能受到攻击，轻而易举地就会被人灭亡，对着这些，你可要自己考虑清楚！”（又一个思变的投机分子！）屈指一数，劝说李渊起兵的还有好几个，分别是行政司铠武士彟（武则天的父亲），前任太子左勋卫唐宪，以及唐宪的老弟唐俭。这些人一个共同的特点都是对现实不满，人心思变，他们都想把宝押在李渊身上，一旦大事成功，他们就是开国元勋了。对照当时的记载，有些史书声称晋阳起兵是李世民一手策划的，其实太武断了。
李渊并不是毫无准备，也不是完全被李世民牵着鼻子走，只是他比李世民考虑的事情更多，顾虑的事情更多，因此一直拖延，迟迟不肯起兵！看着李渊迟迟不肯起兵，刘文静急了。熟读兵法的他明白“先发制于己，后发制于人”的道理，如果就这么拖延下去，消息一旦走漏，大家就全得完。现在只有一个办法，逼迫裴寂找李渊摊牌。刘文静找到裴寂，揪着裴寂的衣服警告说：“你是晋阳宫监，居然提供宫女供客人奸淫，这可是死罪！再说，你是不是诚心想害唐公呢？是不是想拉着他给你垫背呢？一句话，唐公不起兵，大家全完蛋！”本来裴寂心里就打鼓，经刘文静一说，心里更怕了，赶紧去找李渊摊牌：“大哥，求你了，赶紧起兵吧！”经过几天思考的李渊终于想通了，自己留在皇帝手里的案底太多了，指望皇帝的怜悯活命几乎不可能，而且也会让人耻笑，这不是李渊做事的风格。自此，李渊下定决心：起兵！公元566年出生的李渊，到617年已经五十一岁了，有人一直强调晋阳起兵是李世民倡议，李渊响应，其实并不尽然，看待起兵这个问题，不妨对比一下两个人的年龄。李世民十九岁，血气方刚；李渊五十一岁，已经是知天命的年龄。
李世民可以不管不顾，自己拍板，立即执行，反正所有的问题自己扛；而李渊呢，五十一岁的年龄容不得他有年轻人的冲动，不到万不得已，不到安全感尽失，他断不能盲动！对于李世民来说，起兵属于第一次创业，而对于已经走过大半辈子的李渊来说，这一次则是艰难的二次创业，不到万不得已，谁又愿意在年过半百的时候二次创业呢？现在没有办法，历史将五十一岁的李渊推到了风口浪尖，他要带领自己的子弟兵去争夺自己曾经誓死扞卫的隋室江山，历史，就是这么善变！对于表弟杨广，李渊一直怀着复杂的感情，他必须承认表弟比他有才华，比如写诗绘画；比他有能力，比如治理国家，然而李渊自信他有一点强过表弟，那就是他比表弟更懂民心。杨广一出生就含着金钥匙，虽然也在很多地方接受过锤炼，但他的身份注定他始终高高在上，不可能真正了解民心。而李渊则有所不同，虽然他也出身官宦人家，但他七岁丧父，让他懂得了世态炎凉、人世疾苦，他历任谯州、陇州、岐州刺史，荥阳、楼烦两郡太守，在这些地方他都接触过当地的百姓，他比杨广更知道人心的向背。
再加上数年的军旅生活，他悟出了一个真理：军心可鼓，民心可用！只要做好“民心”的文章，起兵大业必成。李渊决定起兵后，立即找来了刘文静，让他火速伪造一道诏书，并把诏书的内容贴遍晋阳的大街小巷，务必让这道假诏书的内容路人皆知。这是一份什么样的诏书呢？是一道强制征兵的诏书。诏书上说，皇帝决定四征高丽，责成太原、西河、马邑、雁门四郡二十岁以上五十岁以下男子年底前到涿郡集合，违令者斩！这是一份空前绝后的征兵令，历史上没有一个王朝曾经出台过如此不近人情的征兵令，一般而言，多是采用“逢二抽一”、“逢三抽一”，顶峰到“逢五抽三”。百分之百的征兵根本就不可行，然而当地的老百姓却相信这就是皇帝的意思，在他们看来，不体恤民情的皇帝什么事都做得出来。谣言很快传遍了晋阳的大街小巷，大家都相信这是真的。李渊和副留守长官王威、高君雅派出人向百姓解释，结果越解释越像是真的。无论在什么年代，谣言往往比《新闻联播》更有传播力，而且比《新闻联播》更像真的，因为谣言采用的是口口相传，而《新闻联播》采用的是自上而下的传播，前者比后者更亲切，更民间，也就更容易被民众接受。
看着民心思变，谣言四起，副留守长官王威和高君雅想破脑袋也没有想明白事情的起因，而李渊却暗暗地看在眼里，记在心中。他知道在这个敏感的时刻，一切必须是慎之又慎，眼前的这两个家伙，表面看是自己的下属，实际却是皇帝安插的眼线。李渊下定决心要反，然而手下的那点兵还不够，想要大张旗鼓地征兵又不行，因为在历朝历代，想要征兵都要得到皇帝批准，没有经过皇帝的同意征兵，那就不是征兵了，而是谋反。就在李渊左右为难的时候，马邑的起义军首领刘武周帮了李渊一个忙。刘武周本来是河间景城（今河北交河县东北）人，父亲刘匡举家迁徙到了马邑郡。刘武周本人骁勇善骑射，在豪侠圈里很有人缘，原本在当地担任鹰扬府校尉。后来马邑郡郡长王仁恭看他比较骁勇，就提拔为自己的亲兵队长，平时驻扎在王仁恭的内宅负责王仁恭的安全。原本刘武周对王仁恭还是忠心耿耿，直到一个女人的出现。这个女人是王仁恭的小妾，长得颇有姿色，刘武周常年驻扎内宅，两个人接触得就多了起来，一来二去，就有了瓜葛。