尔朱荣回到晋阳，便开始张罗讨伐葛荣起义军的行动。葛荣这个时候几乎控制了今天的河北全境，他攻下了冀州的信都（今河北冀县），又对北面占领定州（今河北定县）、瀛州（今河北河间）、幽州等地的杜洛周的军队发动突袭，击杀了杜洛周，兼并了他的地盘和部众。
河北最南端的州是相州，治所在邺城（今河北临漳附近），也是国都洛阳的最后门户。若相州再失，葛荣大军就可以顺利渡过黄河，威胁洛阳。北魏的相州刺史李神誓死不降，葛荣恼火，率领主力军队，号称百万之众（当然能有十万就相当不错了，而且葛荣的所谓大军“虚胖”很严重，战斗力也得打上大大的折扣），包围了邺城，一些游兵散勇已经逛到了黄河边上的汲郡。
尔朱荣镇压起义军的经验丰富，并不怕外强中干的葛荣。他让侄子尔朱天光代他镇守晋阳，然后从本部精选了七千骑兵，以侯景为前驱，倍道兼行，从滏口（今河北磁县西北）东出太行山，抄到了邺城北面，在葛荣大军的身后摆开阵势。
葛荣对尔朱荣的突然出现略感吃惊，但他打惯了胜仗，又见尔朱荣的人数不多，喜形于色地对手下说：“这些人容易对付，大家每人带条长绳，准备给我抓活的！”
他暂时停止了对邺城的攻击，列阵数十里，张开两翼，向尔朱荣的骑兵队伍包围上来。
尔朱荣把军队引到附近的山谷，将手下督将按三人为单位分为多处，每处率领几百名骑兵，来回奔跃，扬尘鼓噪，让葛荣的军队无法判断究竟有多少人马。然后给每人发一根袖棒，挂在战马侧部，遇到敌人时，就用袖棒击打，无须费工夫斩首。
这招很高明，对付葛荣的准民兵，将其击倒在地，不管是死是活，都等同于消灭其战斗力。据说，这种袖棒，就是唐初秦琼的手中兵器双锏的前身（尔朱荣的战略头脑近乎白痴，但战术素养确实很有一套）。
两军交锋，葛荣的军队人多势不众，完全吃不住尔朱荣装备精良的骑兵猛冲。尔朱荣亲自率领一支人马绕到背后，把葛荣的阵势杀得七零八落，就地生擒葛荣。底下的十几万士兵也被袖棒打得满地乱滚，呼天喊地，乞求饶命。
基于六镇起义的教训，尔朱荣没有处置投降的士兵，而是让他们亲属相随，自寻出路，不再追究罪责。“首恶”葛荣押赴洛阳斩首，一些部将则被尔朱荣收编，跟着他迁往晋阳。河北起义至此基本烟消云散。
委身于葛荣手下多时的宇文洛生、宇文泰兄弟，也在尔朱荣的收编之列。尔朱荣对他俩又爱又惮，心理很矛盾，爱的是才华出众，惮的是名高望重。没过多久，尔朱荣还是找了个罪名，把宇文洛生抓起来杀了，正要再杀宇文泰，宇文泰以理诉冤，陈词慷慨，尔朱荣听了很受感动，不但改变了主意，还任命他为统军。
尔朱荣行事向来考虑不周，极具游牧民族的特色，凭此显然难成大事；而宇文泰能屈能伸，年纪轻轻（当时年仅二十二岁）已露出领袖气质。他在北方大乱中连失父亲和三个哥哥，却从中习得了旁人少有的隐忍，着实可怕。否极泰来的宇文泰终于从尔朱荣手中得到小股部众，有了一展身手的机会。
尔朱荣功勋卓著，晋位大丞相，封柱国大将军，两个儿子尔朱文殊、尔朱文畅一并晋爵为王。
葛荣虽被消灭，北魏境内尚有多处叛乱没有平息，其中以青州的邢杲和关中的万俟丑奴为最强。不过，尔朱荣最该头疼的，应该是南朝的正规军。
北方大乱，自顾不暇，南方的梁武帝也没闲着，他看到了兴复中原的新希望。从普通五年到七年（公元524年～526年），他连续发兵进攻淮水下游的北魏占领区，首要目标是拿下寿阳。
时隔多年，从前对魏作战功勋显赫的韦叡、曹景宗、马仙琕等人都已去世，老一辈的名将惟有豫州刺史裴邃还在独撑，梁武帝在调兵遣将上显得有些捉襟见肘。普通五年，他请裴邃坐镇，都督征讨诸军事。这次行动比较顺利，寿阳东北的不少城池都被轻松攻拔。裴邃的主力几乎已经攻下寿阳，因后援不继才被迫南撤。
普通六年，裴邃又攻下了寿阳西面的新蔡和郑城（今河南颍上），形势一片大好。然而紧要关头，年事已高的裴邃却在军中病逝了。