《三朝北盟会编》吕颐浩奏对：江北士民流离失职，江南士民多忌且恶之，若无所容者。今若使得耕并江之田，是生死而肉骨也，荷戴深恩，民力之余，将出死卫生以备捍御，则绥怀之略成矣。
北方难民南下，要分享南方士民利益，比如土地、粮食、房屋等，减少南方士民的收入。
外来人口增多，犯罪率上升和群体事件增多，还会导致当地出现严峻的社会治安问题。
赋税也会增加，赵构秦桧为了维持朝廷运转，就把北方的赋税加给南方士民，“密谕诸路，暗增民税七、八”，南北共同承担的赋税由南方士民单独承 担。
还有就是就业机会也减少了，(少了北方板块的就业，比如官员需求数量减少，各行各业的就业率也降低了)，更加内卷。
大批难民南下，没有吃的没有住的，如何安置，问题也比较棘手。
在资源有限的情况下，南方人口增多，也会导致物价上涨，民生艰难。
从人性角度讲，南方士民巴不得北伐成功，北方难民回北方，不来分自己的蛋糕。
如果你是南方士民，你是愿意出钱找条出路（北伐成功）让他们走，还是拿出自己的利益（土地等）分享给这些北方难民？
南宋初年南方籍大臣绝大多数主张抗金，进行抗金的民间武装也不少，这里不一一列举，自己去翻看史书。足够的史料支撑证明南宋初年南方军民积极支持抗金。
一部分人洗白赵构秦桧，大放厥词，说江南地主阶层不支持抗金，南方士民哪里说理去？