李渊大破甄翟儿，消息传到江都。隋炀帝杨广十分高兴，提升李渊为从三品的右骁为将军。在军职上，比王威、高君雅高半级。从此在留守府，李渊进一步摆脱王威、高君雅的制约，获得更多的军权。
大业十三年（公元617年），全国形势发生重大的变化，农民起义军遍地开花。在各个战场，都占据绝对优势，纷纷称王称霸。正月，隋炀帝杨广派陈稜镇压杜伏威领导的江淮义军。陈稜领兵出战，结果一败涂地，损兵折将，连丢高邮和历阳，杜伏威的先头部队直逼江都。
同月，活动于河北一带的窦建德，看见自己的人马多起来，地盘比以前大。便在河间乐寿设立府第，自称长乐王，建元丁丑。二月，瓦岗军攻下兴洛仓。开仓放粮的同时发表讨隋檄文，列举隋炀帝杨广的罪状，指出隋朝必然灭亡的命运。义军的行为，深得老百姓的拥护。瓦岗军趁机招兵买马，队伍发展到数十万人，占据河南大部分郡县。
李渊暗地积蓄力量的同时，也密切注意时局的发展，加紧和太原等头面人物的交往。如今天下大乱，群雄并起。隋炀帝杨广龟缩在江都，李渊觉得对自己已经没有多少威胁。在这样的时局之下，应该瞅准十几，施展抱负。
在太原的高级官员里面，李渊和裴寂交往最早，友情甚笃。裴寂是蒲州桑泉人（今山西临猗县西南），少年丧父，随兄嫂生活。开皇时，当上右亲卫的小官。因为家贫，常常徒步到大兴城。大业时，迁升至晋阳宫宫监。在群雄纷扰的北方各地，晋阳仿佛是一块净土，各处避乱的老百姓纷纷涌入。
李渊在与刘政会商议事情，柴绍进来找他。李渊问柴绍有什么事？柴绍说：“国公大人，我想带秀宁回大兴城拜祭父亲。我想让他知道，我已经找到值得我爱的人。”李渊觉得这也是应该的，就答应下来。
当李秀宁和柴绍踏进大兴城的时候，里面的情景根本不令人相信，这里曾经是隋朝的首都。柴绍去买祭品，就带着李秀宁到柴慎的坟前。柴绍摆放好香烛，把燃纸焚烧，与李秀宁一起叩三次头。柴绍说：“父亲，你认得孩儿旁边的这位姑娘吗？她就是秀宁，她如今是一位国色天香的姑娘。”
“秀宁她文武双全、心地善良、平易近人，是一位好姑娘。孩儿已经与秀宁在一起，所以你不需要担心孩儿，秀宁她会好好照顾孩儿的。”李秀宁说：“柴伯父，想不到我们再一次见面会阴阳相隔。我爱嗣昌，我会一生一世跟他在一起。嗣昌对我的情谊，我会铭记在心。我会好好照顾他，你可以放心。”柴绍紧紧握着李秀宁的手，李秀宁看着他。
李秀宁见这么多年没有回大兴城，想四处看看，柴绍就陪她一起去。柴绍带李秀宁回郡公府，仆人看见柴绍回来非常高兴。特地做一桌丰盛的菜，为柴绍和李秀宁接风洗尘。李秀宁想参观一下郡公府，柴绍也陪她一起去。
去到柴绍书房的时候，李秀宁说：“嗣昌，想不到你的书房会布置得这么优雅。”柴绍说：“这间书房是父亲替我布置的。”“是吗？看不出来柴伯父对这方面这么有研究。”柴绍把双手放在李秀宁的肩膀上面，说：“秀宁，我觉得我们很幸福，因为我们都有一位好父亲。”李秀宁点了点头，说：“说得是，所以我要更加孝顺父亲。”“国公大人把我当成是儿子一样看待，我也会孝顺他。”
李世民在太原交往颇广，声名远播，早就引起王威和高君雅的注意。这天在王威的府第，王威说：“晋阳是留守府所在地，李渊安排李世民任参军是别有用心。还有刘文静，恐怕已经成为李渊的亲信。”高君雅头伸到王威面前，举手做一个砍得姿势，说：“想办法弄倒刘文静，断李渊一条胳膊。”
王威在大厅来回踱步，说：“刘文静交往甚广，脑子好使，一时半会不好弄。”突然想起什么，问高君雅：“刘文静和瓦岗军的首领李密是姻亲？”“是有那么一回事，两人的祖父辈，沾有一丁点亲戚关系。”王威阴阴地笑着说：“一点就好。马上修密函一封，派人送往江都，请陛下把刘文静撤职法办。”
事情就那么办，王威和高君雅的话，隋炀帝杨广哪会不信？不久下旨，把刘文静逮捕入狱。刘文静的入狱，引起李世民的警觉。四方豪杰入城避乱，为数众多。刘文静身为晋阳县令，最为熟悉这些人。高君雅陷害刘文静入狱，是有意向李世民示威。李世民觉得，在这种情况之下，如果不在早作打算，恐怕会受到更多的限制。
太原的监牢像一个地窖一样，光线幽暗，四壁潮湿，耗子、蟑螂在墙根处爬来爬去。李世民觉得高君雅真的很阴毒，居然把刘文静关在这种地方。狱卒打开牢门，李世民把钱给狱卒，打发到外面。李世民激动地说：“肇仁兄，让你受苦了。”关在监牢里面，刘文静没有受苦受难憔悴的迹象，反而显得气定神闲。
两人并排坐在板床上面，寒暄几句，李世民单刀直入地说：“天下大事千变万化，堂堂晋阳县令顷刻之间成为阶下囚。如果不早作筹谋，抓住主动，悔之晚矣。”
刘文静站起来走两圈，看着李世民坚定地说：“是时候，天下大乱，代有明主。适时出击，才能平定天下，救黎民百姓出水火。”李世民说：“此等大事，非家父出头不可。”“国公大人为隋朝宗亲旧臣，谋略非凡。可善为策划，促使他早举大事。”李世民听刘文静一番话，内心非常激动，但是表面上仍然非常平静。
李世民端坐凝神，说：“大事一举，义无反顾，肇仁认为多长时间可成帝业？”刘文静早有谋划，当即侃侃而谈：“陛下避乱江都，已经不敢返回洛阳，北方大部分已经被义军占领。天下大乱，期盼有救世主，顺天应人，举旗大呼，驱策群英，则定天下易如反掌。我担任晋阳县令数载，收留许多老百姓避乱入城，其中有很多都是英雄豪杰。一朝招募，可得十万人。加上国公大人英明神武，善于网罗人才，所得精兵不下万人。”
“一声令下，谁人不遵。从太原南下，可直逼大兴城、洛阳，控制关中。我以为少则一岁，多则三载，帝业可成。”李世民说：“王威和高君雅是陛下的亲信，此二人不除，终是大害。此次陷你入狱，别有用心。”刘文静说：“此二人是庸碌之辈，等时候到，只要略施小计，即可除掉他们。”
刘文静继续说：“如今关键是想方设法做国公大人的思想工作，使他早下决心。”李世民站起来说：“好，咱们就这样说定。我马上去找家父，设法把你救出来。”说完，就离开监牢。
刘文静虽然是李密的姻亲，但是起义军的姻亲在朝廷为官的人很多。李渊据理力争，又派人禀告隋炀帝杨广。这才征得王威、高君雅的同意，把刘文静放出来，留在留守府做一名文书。
李秀宁正在柴绍的书房里面画画，题完诗之后，李秀宁看着画发笑。柴绍走到李秀宁后面，抱着她问：“秀宁，有什么事情令你这么高兴。”李秀宁说：“我刚刚画了一幅画。”柴绍走到李秀宁旁边看，是一幅喜鹊图。画下题有一首诗，诗里面包含李秀宁和柴绍的名字。李秀宁说：“这对喜鹊是代表我和你，比翼双飞，成双成对。”柴绍开心地抱着李秀宁。
在郡公府住了五天，柴绍和李秀宁决定回太原。回到太原之后，才知道发生的事情。看见刘文静被释放出来，两人都松一口气。三人正在后院商议，柴绍说：“刘大人说得很对，我们应该早日起兵，这样就不会受制于人。况且民间早已流传‘杨氏将灭，李氏将兴’的童谣和谶语，这分明是说李家将会取得天下，我们很应该顺应天命。”
李秀宁说：“父亲拥五郡之兵，当四战之地，要起兵是一件轻而易举的事情。不过就算父亲想起兵，妹妹想他一定会有很多顾虑，不会轻易答应。”李世民说：“不要管这么多，先把起兵的事跟父亲说。”李渊正在书房里面看书，李世民、李秀宁和柴绍来找他。柴绍说：“国公大人，如今陛下无道，天下可图。国公大人日角龙庭，李氏又在图牒。天下所望，已非一日。若能开府库，南号召豪杰，北招抚突厥，东收燕赵之地，南据秦雍之地。”
“海内之权，指日可取。愿国公大人能顺众望，则汤、武之业不远。”李渊问李秀宁：“秀宁，这也是你的想法。”李秀宁说：“不但女儿有这种想法，二哥也有这种想法，就连天下有识之士都有这种想法。”李世民急忙说：“父亲，你就起兵吧！”李渊点了点头，说：“汤、武之事，非所众望。如今天下大乱，言私则图存，语公则拯弱。”
“你们都要自爱，我会好好考虑的。”一谈到起兵，李渊既不表示同意，也不表示反对，一副等等再说的样子。时局发展很快，各地起义军势如破竹，力量迅速壮大。一股突厥骑兵南下骚扰马邑。由于人数不多，李渊派高君雅率领兵马前去围剿。谁知高君雅和王仁恭都是笨蛋，双双战败，几乎送命。
高君雅逃回太原，恨李渊派自己围剿突厥骑兵。于是修密函一封送往江都，告李渊身为太原留守，作战不力，造成边患。隋炀帝杨广看见密函，不问青红皂白，派使者到太原。把李渊和王仁恭抓起来，关进监牢，准备两天之后押往江都。
晚上，李世民、李秀宁和柴绍以及刘文静来到监牢，探望李渊。支开狱卒，刘文静恳切地说：“国公大人，如今主昏国乱，尽忠无益。偏将犯法，连累国公大人。事已紧迫，须早为计。晋阳之地，兵强马壮。宫监之中，府库充盈。二公子礼仪下士，推财养客，群雄侠盗莫不为我们所用。以之举事，何愁不成？”
“代王杨侑年幼，关中豪杰并起，未有归处。国公大人举义军进关中，安抚他们。拥有二都，则大业可成，犹如探囊取物。只要国公大人一声令下，要救你出来是一件很容易的事情。”刘文静说得明白，李渊却保持缄默。李世民在一旁，急得眼泪快要流出来。他跪倒在地上，带着哭腔说：“如今主上无道，老百姓贫苦，晋阳城外都是战场。”
“如果父亲死守小节，则上有严刑，下有盗贼。如今事急，如果再不起兵，祸在目前。万望父亲举义旗，夺天下，转祸为福。”柴绍说：“国公大人，现在事情紧急，宜早定计。天道辅德，人事与能。遇到时机而不发动，将要后悔。”李秀宁说：“父亲，帝业垂手可成，为什么要在这里坐手杀戮。”
李渊说：“隋朝的气数已尽，我们家是顺应天命。我不尽早起兵，是考虑到建成还在外面。如今我深陷牢狱，世民和秀宁可以先逃出去，以观时变，等待机会出兵。不要同受杀戮，家破人亡，为英雄耻笑。”李世民再次劝李渊，李渊仍然不同意救他出狱，他认为时机还不成熟。李渊怕自己会像杨玄感那样，以隋朝大臣的身份起兵，成为众矢之的。李世民见李渊不松口，只好离开，再想办法。
恰在这时，鹰扬郎将梁师都，起兵占领朔方，自称大丞相。他又勾结突厥，占领雕阴等地，被突厥封为“解事天子”。