曹操便退而求其次，想要将城中的富户，以及他们家人仆役等尽数迁走。
这些人家产丰厚仆僮众多，且彼辈都是有身家的人，越是有钱有身份就越是惜命，照理来说是不太会违抗握有强势兵权的曹军命令。
但曹操没想到的是城中有好些个富家大户早在之前城外派家人送信进城后就早有串联。
当时颜良想要劝他们背反刘延献出白马城，但刘延毕竟在东郡牧守多年，很得当地士庶的拥戴，这些富户们心中也多有犹豫没有下定决心。
在前几天白马岌岌可危的时候，以陈光族叔为首的城中富户倒也曾频频串联，想要旧事重提主动投效河北军。
但这些富户们家大业大担心的事情也多，商议来商议去还没想好什么时候动手，曹操就带人来援了。
曹军一战击溃城西的河北军右营，让城中富户们暗自庆幸没有亲率动手，但他们的庆幸并没能保持太久。
入夜后，刘延便派人来告知要将全城百姓撤走的消息，让他们悔到肠子都青了。
这些富家大族待在本地有田有土，子弟均在郡县为官，真要迁徙到其他地方去那与寒门亦没有多大差别，所以是最不愿意迁徙的那一批人。
在得知曹操要迁徙全城百姓后，一直没能下定决心的富家大族们便不再犹豫立刻行动了起来。
他们倒也不蛮干，不带头出面，而是拉拢了附近的百姓们一同抵制迁徙，总之就是各种闹事各种不配合，让曹军在城中的计划举步维艰。
曹军在组织迁徙遇到抵触后，最终也只是拉上了城中一半左右的人西迁，其中有些富家大族甚至只是派了家中一些子弟虚应故事，而隐匿起了大部分的族人。
同时，为曹操开道的张辽传回来的消息说河北军的游骑一直游弋在他周围，对他形成了相当大的压力。
张辽行军过程中稍稍提速导致队伍拉长就会受到河北军游骑上前袭扰，而他带人去驱散时人少了不抵用，人多了对方就跑了，他只得放慢了速度小心翼翼前进。
即便是这样，第一批挟裹的百姓也在乱中走失了近四分之一，更有百姓主动借机逃散的情况发生。
在荀攸等人的劝说之下，曹操权衡了一番利弊后终于决定力求稳重，自将了六千多士卒以为中军，趁着关羽带人在北门和东门外出城偷袭的空档，出西门而去。而他这次挟裹的百姓仅只有五千多人，比原本预计的少了近半。