四月二十二，枉人山寨万余人口牲畜，挽着近五千辆大车，同时还人背马驮着十日口粮，在骑兵统领方洪的三百骑兵（回枉人山后，又扩招了两百多骑兵，共计五百骑兵，虽然战马还有富余，可惜会骑术的人少）及杨折冲、释智和的一千五百名步兵（步兵已有两千之众）护卫下，如期出发。
由于物资实在太多，五千辆大车根本装不完，而健牛、骡子，挽马又需要用来拉车，无法驮负重物。无奈之下，只好分两批迁徙。第一批，重点是转移人口、粮秣、丝帛、金银珠宝、兵甲、药石（各种草药与矿物质）及盐茶等生活必需品。
只留下一部分的米粮及皮革、大量箭矢、铜铁精料及酒水等物，等待第一批迁徙人员到达目的地后，将车辆腾空，再倒回头来装车启运剩余物资。这些物资由杨奋的两百骑兵及左开的五百步兵据寨而守。这时的枉人山寨，已经没有一个平民，有的只是七百名兵甲精良的骑步兵，还有堆积如山的物资，由一个普通的山寨变成了一个军寨。
从大部队的迁徙到留守主官的人事安排上，可以出狄烈是花了一些心思的。
迁徙大部队的军事主官是杨折冲，方洪，释智和副之，民事方面则是由侯方镜负责。而留守部队则是杨奋为主，左开为副。
在这当中，杨家兄弟及侯方镜都是在狄烈起家前就一起经历患难的人物，在忠心方面应该说是比较可靠的。其余如方洪、左开，释智和这些人，虽然也表现不差，但毕竟相处日短，当然不可能让他们在军中占主导地位。要知道，狄烈的这份家当，相当于宋朝的一路（相当于省级）全年赋税。这块肉太肥了，诱惑性太大了，狄烈在这方面不得不小心从事。
安排好诸事的狄烈，却没有随迁徙队伍而行，他有更重要的事。在早前一天，也就是四月二十一，狄烈带领着阿术、张荣的梁山兄弟，以及关忠勇等十余名太行义军，先期出发。
按狄烈的官方说法，是先去拜会一下刘大寨主，洽谈合兵事宜。如果顺利的话，等一切安顿好了，大部队也到了。关忠勇等人深以为然，欣然陪同前往。但狄烈心里真实的意思，却是不想让关忠勇等人到自己的全部家当，以免到时给人家来个狮子大开口，那就被动了。
狄烈一行本打算顺着金军北返的路线，走汤阴、相州、磁州、邯郸，然后自邢州而至赵州，再绕栾城而过，折向西行，经抱犊寨而穿井陉，最后到天平寨。
由于有太行义军这群识途老马带路，加上这条线路刚有大批金军经过，一路上扫荡得极为彻底，基本上百里之内，人烟绝灭，短期内几乎无人敢走。因此在五日之后，狄烈一行很顺利地来到了邯郸。
在早前，准确的说是在七天以前，金军四路北返大军已经全部在邯郸汇合。这个时候，大概金军主帅完颜宗望也意识到了兵分数路的弊端。之前是因为千军万马过黄河，拥堵不堪。为了让大军尽快北返，并且认为路上不会有什么阻挠，所以才兵分六路。
而现在莫明其妙地溃灭了两路大军，损兵折将不算，更丢失了一大批物资及人口。宗望不得不改弦易辙，将剩下的四路大军猬集成团。如此一来，全军人马超过七万，加上近二十万的俘虏，庞大的人群及海量的物资运输，必定造成行军速度的缓慢。
不过，这时的宗望心里想的是安全第一。摆出这样的大阵仗，如果那个如幽灵般的男子还敢来捋虎须。那么，他不介意让对方尝尝七万铁骑合围的滋味。
四月二十三，金军七万人马押解着二十万俘虏及无数战利品，开出邯郸城。大军浩浩荡荡，绵延百里，望北而去。
而当狄烈一行到达邯郸城廓之时，金军已经离开三天了。