宋金刚攻陷浍州（治所在今山西翼城县），战力汹涌。因王行本依然占据蒲州（治所在今山西临猗县或今山西永济市，存疑），吕崇茂在夏县（今山西夏县）反叛，晋州（治所在今山西临汾）、浍州两州相继被攻陷，京师震动，李渊于是下手诏说：“贼兵气势如此厉害，我们很难与他争锋。应该舍弃黄河以东地区，谨慎地防守潼关以西。”李世民上表说：“太原是王业的根基所在，国家的根本，河东地区（山东境内黄河以东）物产富饶，是京师的物产供给地。若全部舍弃这些地方，我私自感到愤恨。我愿意领精兵三万，一定能够平定刘武周，收复汾州（治所在今山西隰县）、晋州。”李渊于是调派关中地区所有兵力来增援李世民，又亲自驾幸长春宫给他送行。

武德二年（年）十一月，李世民率军队向龙门关（位于今陕西韩城市）进发，踩着冰过了这个地方，一直向前，屯兵柏壁（位于今山西新绛县），和敌军将领宋金刚相持。不久，永安王李孝基在夏县战败，于筠、独孤怀恩、唐俭都被敌将寻相、尉迟敬德俘虏，敌军将要返回浍州。李世民派遣殷开山、秦叔宝在美良川（位于今山西闻喜县南）截击他们，大破敌军，寻相等人仅自己逃脱，士兵皆被俘虏，之后就返回到柏壁。于是李世民手下各个将领都请求出战，李世民说：“宋金刚行军千里，孤军深入到我的地盘，精兵勇将都在这里。刘武周占据太原，所能倚仗的，是宋金刚的精锐部队。他们士兵虽然多，大本营（太原）却是空虚的，意图在于速战。我坚守营地、养精蓄锐，挫伤他们的锐气，等他们粮食吃完、计谋用尽，自然会逃走。”

武德三年（年）二月，宋金刚最终因为士兵饥饿而撤退，李世民追击他到介州（今山西介州）。宋金刚布阵，南北延绵七里，来抵抗李世民的军队。李世民派总管李世绩、程咬金、秦叔宝正对宋金刚军队北部，翟长孙、秦武通正对宋金刚军队南部。两路军队且战且小退，被敌军乘胜追击。李世民率领精骑进攻，在宋金刚军队阵后发动冲击，敌军大败，被追赶几十里。尉迟敬德、寻相率领八千士兵来降，李世民还让尉迟敬德统领这些人，军中事务让他指挥。屈突通害怕尉迟敬德等人会叛变，多次请求李世民收回成命。李世民说：“昔日萧王刘秀对他人推心置腹，也能完成统一使命。现在我信任尉迟敬德，又有什么可疑虑的呢？”之后刘武周逃跑到突厥，并州（治所在今山西太原）、汾州以前占有的土地都收复了。李渊下诏在军中加封李世民为益州道（今四川成都市）行台尚书令。

年七月，李世民统领各路军队在洛阳进攻王世充，军部驻扎在谷州（治所在今河南光山县）。王世充率领精兵三万在慈涧（位于今河南新安县）列阵，李世民率轻骑挑战他。当时寡不敌众，李世民陷于重围之中，旁边的人都很害怕。李世民让旁边的人先回去，自己独留殿后。王世充手下勇将单雄信带几百个骑兵在小路进逼李世民，两路军队互相争斗，争夺路权，李世民差点被他打败。李世民左右侍卫朝敌军射箭，无不应弦而倒，俘获了敌军大将燕颀。王世充于是从慈涧撤兵，返回洛阳。李世民派行军总管史万宝从宜阳（今河南宜阳县）向南占领龙门（位于今河南洛阳市南），刘德威从太行（治所在今河南博爱县）向东围攻河内（治所在今河南沁阳市），王君廓从洛口（位于今陕西洋县）截断敌军粮道；又派遣黄君汉夜间在孝水河（位于今河南洛阳市西）中游安排水师袭击回洛城（位于今河南孟津县东），攻克了这个地方。黄河以南地区，没有不响应的，各方势力相继来投降。李世民大军屯兵邙山（在今河南洛阳市东北）。年九月，李世民派五百名骑兵先行侦察战争地形，最终和王世充一万多人相遇。双方发生战斗，李世民又击败了王世充的军队，斩敌三千多人，俘获敌大将陈智略，王世充仅自身逃脱。王世充任命的筠州（治所在今江西高安县或四川筠连县，存疑）总管杨度派遣使者请求投降，李世民派李世绩率领军队从轘辕山（位于今河南偃师县东南）出来，安抚请降的兵众。荥州（治所在今河南荥阳市）、汴州（今河南开封市）、洧州（治所在今河南尉氏县）、豫州（治所在今河南汝南县）等九州相继来投降。王世充于是向窦建德求救。