八月二十九日，李渊率军西行，经过的杨广的离宫园苑时，将之全部关闭，放出宫女归还其亲属。
九月初四，李渊到达长安附近，在春明门（长安东面三门之中门）西北扎营，各路军队全部向长安汇集，兵马共有二十余万人，军威强盛，声势浩大。
李渊命令各部队驻扎在营垒内不得侵扰村落中的百姓，然后屡次派使者到城下对防守长安的卫文升等人宣称自己尊奉隋皇室的意思，卫文升等人不作答复。
十四日，李渊命令诸军进发，将长安团团包围了，长安人心浮动，天下为之瞩目。
长安城位于渭水之南，终南山之北，秦朝的都城咸阳就位于隋长安城的西北，长安城自汉建都以来，历代也多为都城之所。
由于长安为关中首府，又为隋朝西京，所以为关系天下安危之地。
开皇二年，隋文帝因为汉故都制度过于狭小，年代久远，宫宇朽坏，于是派人筑大兴城于故都之东南十三里，南面子午谷，北枕龙首原，左临灞、浐，右抵丰水而都之。
长安城北的渭水之上有三座桥梁，一为渭桥，在城东北五十里处，二为中渭桥，在城北二十五里处，三为西渭桥，在城西北五十里处，这三座桥梁，都为守卫长安的重要之地，但长安守军却都一兵不派，任由李氏军队于期中畅行，可见主持长安大局的守将，肯定已非精于战事的卫文升了。
与卫文升有旧的李隐，原本还打算写信给卫文升，向他劝降的，见此情形后，只好断了这个心思。
就在李家着手准备进攻长安的时候，河南、山东发大水，饿殍遍野。杨广下诏开黎阳仓赈济饥民，但官吏们却不按时赈济，每天有几万人死去。
徐世绩对李密道：“天下大乱，本来就是因为饥馑的缘故，现在我们若是再得黎阳仓，大事就可告成功。”
李密听从了徐世绩的意见，派徐世绩率部下五千人从原武渡黄河，会同元宝藏、郝孝德、李文相及洹水贼帅张升、清河贼帅赵君德共同袭取了黎阳仓并在那里据守。
徐世绩开黎阳任由百姓来吃粮，十天之内得到精兵二十余万人，武安、永安、义阳、弋阳、齐郡都相继投降了李密。
窦建德、朱粲等人也派遣使者依附李密。李密封朱粲为扬州总管、邓公，与窦建德兄弟相称。
泰山道士徐洪客向李密献书道：“大批的人马长久地聚在一起，恐怕粮尽人散，出师时间长了，就会厌战，那样就难以取胜获得成功，魏公不如乘着有进取的时机，凭借着军队的锐气，沿运河南下，直取江都擒拿昏君杨广，以此号令天下？”
李密认为徐洪客的建议很有运见，写信召他来，但却没有采纳徐洪客的意见。原因还是如他拒绝劝他入关中的柴孝和一样，他并不能在洛阳尚未攻占的情况下，冒险去攻取其他地方。
道士徐洪客得知李密的恢复后竟，并未前去投靠李密，离开泰山云游去了。
李密得知徐洪客竟云游不来后，心中很不高兴，向帐中一位同样身穿道袍的人问：“玄成，你说徐洪客为何弃我而去？”