事有凑巧，没过多久突厥数万骑兵袭击太原。轻骑已经到太原城外，往来驰骋，极其骄横。李渊决定利用计谋使突厥退兵，一来不伤与突厥的和气，二来也让突厥看看自己的实力。突厥来犯，正应刘政会的“密报”。在对付突厥的军事会议上面，分派各路兵马。把王威、高君雅处斩之后，李渊沉着冷静，命裴寂、刘文静等人分别守备太原各个城门。
令城门大开，城墙不树旗帜。守城将士都蹲在城垛后面，不许出声。李渊为防不测，命李世民率领精锐骑兵，乘黑夜悄悄出城，占据险要地方。一旦太原有不测，就从后面袭击突厥。为了进一步迷惑突厥，李渊又令王康达率领千余人，黑夜出城，白天进城，大张旗鼓装成援军的样子。
李渊的疑兵计收到预期的效果，城外虽然发生一些小规模的战斗，但是基本没有大战斗。突厥此次来太原，本来是想显示自己的威武，并不准备强攻太原。见李渊有所准备，怕夜长梦多，于是乘夜退兵。
月光下，城外尘土飞扬，人喧马嘶。城墙上的将士看见突厥兵马。从夜里一直到第二天上午才全部退完。亲眼看见突厥兵强马壮、人多势众，将士既高兴，又害怕。上午，李渊在留守府和官员议事，侦骑飞马来报，突厥兵马已经全部退出太原。所有官员一起祝贺，齐赞李渊之德。去年马邑大败突厥，现在又智退突厥。使太原避免劫难，成为乱世之中最和平的地方。
在讨论下一步行动的会议上面，李世民认为要兵行天下，必须确保太原的安全，太原最大的威胁来自突厥。突厥控弦百万，十分强大。如果与突厥对抗，以后仍然会麻烦不断。只有表面妥协，才能确保太原的安全，起兵的顺利实施。大家听了李世民的发言，一致表示赞同。李渊虽然觉得畏服突厥，会召来骂名，但是眼下不得不如此。
于是再次修书一封，再派刘文静出使突厥。李渊在信中表达自己想取得天下，向突厥屈节求和，并且投其所好。说取得天下之后，除了土地之外，货财宝物，任突厥所取，始毕可汗接信之后非常高兴。
为了表示向突厥的臣服，裴寂主张起兵用白旗，以和突厥旗帜的颜色保持一致。李渊认为太露骨，不同意。最后采用李世民和柴绍的意见，一半是红色一半是白色。以表示既不属于隋朝，也不属于突厥。
北连突厥，解除后顾之忧，这时候李建成已经赶到太原。李渊觉得正式起兵的机会到，立即召开太原各郡县官员会议。李渊说隋炀帝杨广无道，令天下大乱，决定依伊尹放逐太甲、霍光废昌邑的做法。废隋炀帝杨广而立杨侑，并且传檄各郡县，克日起兵。
李世民把柴绍介绍给李建成认识，李建成说：“世民在信中经常向我提起你，我早就想见你。今天有幸见到，真的很高兴。”柴绍说：“其实世民也经常向我提起大公子，他说大公子兵法如神、成熟稳重、为人随和。”李建成听了之后笑一下，说：“我知道你和秀宁之间的事情，我这个妹妹是一个很好的姑娘。日后你们成亲，她一定会是贤妻良母。”
“能够与秀宁相识、相知、相爱，是老天爷对我最大的恩赐，我一定会好好珍惜她。”李建成豪爽地说：“我们就快成为一家人，你也不用这么见外，叫我建成吧。”柴绍叫李建成的名字，李建成说今天这么开心，到客栈喝一顿酒。
李秀宁亲自与何潘仁一起部署，当部队进攻鄠县的时候，李秀宁在战场上拼命擂动君鼓，号令部队前进。鼓声震耳欲聋，遒劲而雄浑。士卒大受鼓舞，热血沸腾。一气冲进县衙，攻克全县。鄠县被攻克之后，何潘仁对马三宝说：“真是将门出虎女，李三小姐的雄才实在令须眉倾倒。”经此一役，李秀宁声名大噪。李秀宁派人送信给李渊，李渊十分高兴。
附近几支起义军的首领李仲、向善志和焦师利各自带着自己的兵马，自动投奔到李秀宁的麾下。李秀宁的兵力一下子增加近七万人，气势一天比一天强盛。李渊决定先拿西河郡开刀，李世民自告奋勇去打起兵的第一场仗。李渊觉得李世民毕竟只有十八岁，这次是单独领兵攻城。他怕李世民有什么损失，派李建成和柴绍一起去。
行军之前，李渊勉励李建成、李世民和柴绍一番，三人跪倒在地上明誓，坚决完成任务。如果有任何闪失，愿受军法处置。李建成觉得军队多数是新招募的士兵，训练还不到位，行军都没有章法。于是一边行军，一边教军法。
西河郡的郡丞叫做高德儒，当年他在路上遇到野鸟，硬说是鸾鸟，佞惑隋炀帝杨广，以为祥瑞，才当上这个位子。只用了九天的时间，李建成、李世民和柴绍就平定西河郡。六月，李密率领瓦岗军围攻洛阳，大败隋军于平乐园。隋炀帝杨广急命江都通守王世充、河南虎牙郎将王辩、河北太常少卿韦霁，率领兵马增援洛阳。
一时间，长江以北的隋军都集中在洛阳战场，大兴城守备薄弱。李渊决定进攻关中，夺取大兴城。为争取人心，多募兵马。李渊命令开仓放粮，救济贫民。此举大受老百姓欢迎，来参军的人一天比一天增多，太原的总兵力已经达到五万余人。大业十三年六月十四日（公元617年），李渊正式建立大将军府。
裴寂等属下上尊号称李渊为大将军，李建成为陇西公、左领军大都督，管辖左三军。李世民为敦煌公、右领军大都督，管辖右三军。李建成、李世民各设官属，柴绍为右领军长史。李渊封裴寂为大将军长史，刘文静为司马，唐俭和温大雅为记室，温大雅和弟弟温大有同掌机密。武士彟为铠曹，全面主管军供工作。
刘政会、崔善为、张道源为户曹，姜谟为司功参军，殷开山为府掾，长孙顺德、刘弘基、窦琛、王长谐、姜宝谊、阳屯等为左、右统军。总之，太原留守府的各级官吏大部分留用，随才授职。七月五日，李渊率领三万兵马誓师出征。此次是起事之后的首次出征，场面十分隆重。正阳门外宽阔的校场，三万兵马按分布排列。步兵营居前，骑兵营在后。士兵一个个铠甲鲜亮，刀枪闪光，甚是整齐、威武。
校场周围，白绛杂色冯旌旗猎猎作响。再远一些，隔离栏之外，围满老百姓，大人小孩都伸长脖子看。校场北边，面南背北，临时搭建一座高台。高台上，李渊身着大将军服，坐在虎皮帅椅上。左右一字排开四十八名偏将，一个个昂首挺胸，威风凛凛。再往前，置两排椅子，坐着裴寂等十几名主要官员。
吉时已到，值日官举起手中的小黄旗，骤然一挥。誓师大会的总指挥裴寂见状，挺身上前，高声宣布此次进攻关中的重大意义。而后请李世民代表三军将士，宣读誓词。李世民宣读完誓词，只听一声炮响，惊天动地。台下的将士发出暴风雨般的欢呼声，李渊站起来，高声命令三军出发。
李世民令旗一挥，五千骑兵在旗幡的引导之下，率先出场。跟着是步兵营，烟尘飞起，逶迤不断，最后压阵的又是骑兵。李渊等出征的将领也跨上战马，离开校场，挥军向大兴城出发。晋阳起兵，是打立杨侑为帝的尊隋名义。这种掩耳盗铃的做法，帮李渊不少大忙，避免以下犯上的恶名。檄文所到之处，还真是迷惑不少人。
出师途中，李渊不敢有丝毫大意，让李建成和李世民率领亲兵不断巡视军营。器仗、粮草、战马，无不让心腹掌握。大军分为前军、中军和后军。李世民在前，李渊居中，李世民在后。由于屈节交好突厥，突厥将领也率军从征。
七月八日，大军到达西河郡。稍微休整一下，李渊亲自wei劳吏民，赈济贫困。老百姓七十岁以上的，都授予散官。虽然没有实权，但是又俸禄。其他豪杰，一律量才录用。由于建制不全，没有官印，无法印制告身。李渊手写官名，一天竟然任命一千多人。官员手持李渊手写的官名，兴高采烈，都愿意为李渊拼死报效。
镇守大兴城的杨侑听闻李渊叛乱，想抢夺大兴城，遂令虎牙郎将宋老生率领精兵数万屯于霍邑。左无侯大将军屈突通屯于河东，阻击李渊。也许是晋祠祈雨感动上天，大军过雀鼠谷，到达贾胡堡，天就下起瓢泼大雨。正午的天空好像变成黑夜，电闪夹着雷鸣，狂风带着急雨，摇撼着世界。半天的功夫，便沟满河平。大雨哗哗地下不停，将士衣甲尽湿。天雨路滑，太原的粮草运输又跟不上来。急李渊在大帐里面愁眉不展，来回踱步。
李建成告诉李渊，突厥和刘武周乘晋阳空虚，袭击晋阳。李建成劝李渊退兵，李渊赞成。会议上，裴寂积极赞成退兵。众将领担心太原的家属，怕有所闪失。纷纷赞成裴寂的话，李渊也频频点头。唯独李世民和柴绍表示强烈反对，他坚决主张继续进军，提出先入咸阳，号令天下。李世民说得慷慨激昂，入情入理。李渊却不为所动，拿定主意要退兵。
命令一下，众将士一哄而散，各自作准备。李世民和柴绍留下来，又苦劝李渊一番，李渊仍然不听。李世民站在军帐门口，思虑万千。他想起在晋阳宫促使李渊起兵的那一天，想起自己憧憬无数次的宏图伟业。想到这里，李世民再也沉不住气，一头冲进黑夜的雨幕，向李渊的大帐走去。
柴绍不放心李世民，就想去看看。柴绍看见李世民跑去李渊的大帐，也跟着跑去。当李世民去到李渊帐前，被卫士挡住。李世民急得蹲在地上，放声大哭，柴绍安慰他。李渊听见李世民的哭声，觉得很心痛，让他进去。李世民作最后努力，劝说李渊，柴绍也在旁边帮忙。终于，李渊答应不退兵。
过了几天，天随人愿，雨过天晴。李渊命令将士晾晒铠甲，整理行装，准备进军。恰在这个时候，太原的粮草也运来。三军略微休整，李渊即率领大军由山中小道抄近路直奔霍邑。八月，进攻霍邑，李世民和柴绍先率领轻骑至城下，诱宋老生出战。继而率领轻骑猛冲宋老生侧背，配合李渊、李建成正面攻击。李世民和柴绍斩宋老生，攻克霍邑。
兵进大兴城，首战告捷。李渊异常高兴，召开隆重的庆功大会，对有功将士予以嘉奖。有人提出按照旧例，地位低下的奴仆、部曲，虽然立下战功，但是只能奖励金银，不可以授予勋位。柴绍说：“义士应募，冒矢石，攻坚城，何分主奴？今天论功行赏，怎么可以有等差？”李渊认为柴绍说得有道理，下令说：“诸奴仆、部曲征战有功，并从本色勋授，不得以贵贱论功。”
义军按照功劳颁发赏赐，使得以前的刑徒、仆隶，胸脯上也带上大红花。摇身一变，也成为有官阶的上等人。于是人人高兴、个个欢喜，手拿勋授，奔走相告。李氏义军英勇善战，论功行赏，赈济贫穷，美名远播。流窜于三辅山大大小小的武装纷纷投靠。多时一天数以千计，义军的队伍迅速壮大。
消灭宋老生，接下来就是屈突通。李渊安顿好霍邑，率军向河东挺进。八月十二日，兵进鼓山，绛郡郡守陈叔达领兵坚守。陈叔达字子聪，吴兴长城人（今浙江长兴），陈宣帝陈顼的第十六个儿子。南陈的时候封义阳王、仁武将军、置佐史、丹阳尹，陈叔达善容止，颇有才学。年十余岁，尝侍宴，赋诗十韵，援笔便成。
最初，陈叔达是坚拒李渊，最后被李渊的真诚感动，表示愿意归顺。安抚好绛郡，李渊兵至龙门，恰逢刘文静又从突厥带来五百士兵、两千匹战马。李渊见突厥兵少马多，心中窃喜，褒奖刘文静。
李秀宁攻克鄠县，隋朝恐慌起来。大兴城的官员立即派军向鄠县进攻，想要一举剿灭李秀宁的军队。李秀宁的探子早已把军情告诉她，李秀宁早就料到事情会发展成这样，事先已经做好部署。她胸有成竹，指挥若定，命令何潘仁、马三宝半路阻击隋军，又让李仲、向善志从后路包抄过去。
一仗下来，隋军差不多全军覆没，剩下的一溜烟跑回大兴城。大兴城守军的力量大大削弱，士气低落。趁着大兴城守军自顾不暇，李秀宁一鼓作气率领军队攻克盩厔、始平等郡县。起义军马不停蹄前进，所到之处隋军丢盔弃甲，望风而逃。
攻下始平之后，李秀宁率领兵马进城，沿途有许多老百姓围观。突然，一个又黑又瘦的男子扑倒在李秀宁的马前。李秀宁的马受惊，前蹄立起来把她摔到地上。士兵上前把那名男子拿住，李秀宁被人扶起来走到那名男子面前。李秀宁问：“这位大哥，你扑倒在我的马前干什么？如果马的前蹄踏下去，就会踩碎你的脑袋。”
那名男子气息微弱地说：“李三小姐，草民不是故意的。草民已经三天没有吃东西，只是灌水。刚才李三小姐的马走过，草民头重脚轻站不住倒在地上，才惊扰李三小姐的马。”李秀宁看见那名男子苍白的面孔，乌紫的嘴，骨瘦如柴的四肢，不仅留下眼泪。李秀宁说：“三宝，马上开仓放粮、赈济灾民。”马三宝应声就去办，她又给军队制定严明的纪律。
李秀宁三申五令，军队纪律严明，大得人心。远近的老百姓都来归附李秀宁，军队一下子扩充到十余万人，李秀宁的名字威震关中。
黄河从丛山叠嶂中走来，在荒原上流去。浩浩荡荡，一泻千里。龙门段上，嶙峋壁立，河水贯穿在两山之间。地势骤然下陷，河水从绝壁上摔下来。汹涌澎拜，狂涛乱卷，发出惊雷般的轰鸣。浑黄的河水闪着晶亮的泡沫，激射半空，形成茫茫银雾，笼罩在龙门上空。
李渊与李建成、李世民、柴绍到黄河岸边观察地形，天近残秋，河水喷出的雾气，冷冷透人骨缝。李渊看着奔腾咆哮、云雾迷茫的龙门，爽朗的笑起来。柴绍说：“每年开春，江河湖海里面的黄鲤鱼，都会逆河而上来到这里。虽然来得很多，但是一年之中能够跃登龙门的只有七十二条。登上龙门之后，就会有云雨相随。天上的神火就会烧掉它们的尾巴，化为蛟龙，从此一飞冲天。”
李渊含笑向柴绍点了点头，看见李世民望着滚滚河水默默无语，问：“世民，你在想什么？”李世民从浮想联翩之中醒过神来，他远望苍茫的关中大地，说：“鱼跃龙门，雄踞关中，号令天下，我李家将会成为代代相传、黄袍加身的真龙天子。”李渊哈哈大笑说：“我有这样的儿子，何愁天下不定。”
回去之后，李渊即刻召开军事会议，讨论强渡黄河的问题。薛大鼎认为从龙门渡河最合算，过河之后占领永济仓，传檄各处，关中可定。任瓌表示反对，他觉得自己在冯翊为官多年，郡中豪杰多有相识。只要李渊给自己一张檄文，就可以召他们归顺。如果起义军从梁山渡河，自己必领人响直。
起义军兵指韩城，一直逼近邰城。太守萧造只是一介文吏，必定会望风臣服。然后据永丰仓，虽然未得大兴城，但是关中已定。李渊见任瓌说得有道理，当即任命他为银青光禄大夫，到冯翊、韩城开展工作。
八月二十一日，起义军行至壶口，预备建立水师南渡黄河。老百姓听闻义军征船，都积极配合。几天之内，竟然征得数百只木船。二十四日，关中的孙华，在李渊的感召之下，率领军队从邰城前来归顺。李渊大为高兴，令李世民率领轻骑前去迎接。
李秀宁知道李渊准备渡黄河，就派人抄小路把情况报告给李渊，李渊喜出望外。李渊叫柴绍见他，再把情况告诉柴绍。李渊说：“真是没有想到，秀宁她打仗会这么在行。”柴绍说：“其实，秀宁她平时看很多兵书，也不时跟我讨论。”“怪不得，秀宁出世的时候，接生的王大娘说过，她长大之后一定会巾帼不让须眉，真的没有说错。”