支援義軍的糧食遲遲不到，李元吉又派人來報劉武周將犯太原，李淵決意退回太原。李世民在李淵帳外大哭道：義軍初立，前進才能成功，后退將分崩離析，敵人乘危于后，義軍將不復存在。李淵頓悟，命李世民和李建成連夜追回已撤離的左軍。 義軍兵臨霍邑城下。霍邑易守難攻，李世民用連環計謀將宋老生引誘出城，在城外消滅了宋老生的軍隊，一舉占領霍邑。義軍乘勝前進，又陸續占領了臨汾、龍門等地。兵至黃河岸邊，黃河兩岸的百姓，踴躍歡迎義軍，送舟送船，每日有一百多人！關中豪杰，也紛紛翹首期盼，盼望義軍過黃河，進長安，定天下。站在黃河邊，李淵感慨萬分，承諾李世民，一旦得到天下便立他為太子。 義軍進攻河東，屈突通率軍拼死抵抗，義軍攻城受挫。李世民說兵貴神速，建議父親繞過河東，直奔長安。裴寂等人極力反對，擔心前后受敵。