在南渡之初的时候，因为高宗赵构身边的军队有限，又面临金军南下的侵袭，因此不得不注意安抚和招徕这些归正人作为基层军队的补充。而北人多属武人，沙场宿将，志在恢复自己的家园，自然是主战；而出身自经济发达、社会繁荣背景的南方人，经由科举入仕，多着眼于稳定江南政局，对战争并无胜算，赞成偏安、坚持一力主和。
在赵昺看来，正是南北人自身考量的不同，便有了有不同的立场与观点，由此而衍生出对生存与发展、现实与理想、偏安与恢复等不同的看法。而认知差异和南北地域问题及文武问题纠结在一起，又对政治环境产生了影响。而南北人对政治环境、宋金、宋蒙关系既种使得问题更为复杂。
宋廷迁都临安也是更有利于老家是福建路、浙西路、浙东路的士大夫，于是南人主政北人主军的局面逐步固定下来。尤其在重文轻武的国策下，由科举入仕的南方文人占优势之政治环境中，对从北方來的人而言，自然筑起一道智力防波堤，用人取舍之间，南北便有亲疏内外的不同，就容易产生政治生态失衡的现象，形成政争，为他们日后的混战埋下了隐患。
为了小朝廷的生存和发展，也为了争夺政治利益，和战问题就不单单是政见之争，更上升为人事恩怨和所谓的南北人问题，而经济上南强北弱，政治上南方人掌握了南宋政坛，北方人大多流离失所且多为武将。所以你看在北宋时的北人和南人在军事与政治所居的地位差异明显，因此南宋时代形成北人主军、南人主政的政治形态。
从南宋开国以來，几次重大的事件，岳飞之死、苗傅、刘正彦、郦琼之叛及曲端的被杀，孟珙的抑郁而终，固然各有不同的原因，然而南北地域情结似乎也有相当的关联性。赵昺只看岳飞的出身和经历，便知对北人的招抚正是触动了南人大臣和皇帝的心结，招降纳叛往往是地方图谋不轨的先兆，都毫无例外地涉及到南人主将、文官和北人武将的错综复杂的矛盾。
南渡之初，宋廷随时面临着灭亡，可以说正是用人之际。对归正人，南宋除发放赈济钱粮，分配土地、耕牛、种子进行安置外，将男丁收入军中更是安置归正人的常规做法。赵昺最为崇拜的岳家军，他们之所以能让金军闻风丧胆，很大程度上是离不开北方归正人的不断加入和后方策应的，其队伍中的猛将牛皋、董先都是归正人，甚至在宋金开始和议时，岳飞仍派人持蜡丸、赏金到北方招诱中原好汉。
然而正是基于对岳飞等武将的猜忌，朝臣和赵构对北人来归的也逐步加强了警惕。特别是在‘绍兴和议’签订之后，为了防止授金朝南侵的借口，高宗在遣返新归正人的同时，严禁边将收纳渡淮而来的北方人。甚至是直接发布文书，告诫岳飞等将领，不得招纳北方来归的人民。可每当宋金出现军事对峙的紧张形势时，就又会再次派遣边境的官员招募北人投奔，厚加赏赐。
在赵昺看来，在对待归正人的问题上，无论的皇帝，还是那些掌政的南方文臣满满的皆是卸磨杀驴的套路，并已经定型，以致从意识形态和行为上都表露无遗。在此后蒙古南下灭金，中原干戈四起一时间很多金朝境内的将领、平民大举南下进入宋境内，成为了新的归正人。在这批人里很多人因为卓越的战功成长为南宋的方面大员，军队悍将。
刘整在金乱之际投宋隶属孟珙麾下，信阳战役中“整为前锋，夜纵骁勇十二人，渡堑登城，袭擒其守”，孟珙赞其“赛存孝”，后累迁至潼川安抚使、知泸州事；姜才年少时被掠到河朔，后逃回南宋“隶淮南兵中，以善战名”，在淮西地区配合名将李庭芝抗击元军的战斗中宁死不降。
还有赵昺熟知，并共事多年的张世杰原在元将张柔军中，畏罪投宋后屡立战功。按照剧本元军攻至临安附近时，其应率军勤王，力战不降直到崖山海战身死，本可成为宋末三杰之一。但是由于他横插了一杠子，其还活的好好的，不过他对其也是不薄，这么多年来一直官居枢密使，也算是位极人臣了。
宋与蒙古的最初交锋中，正是从北方招募的归正人极大地遏制了强大的蒙古铁骑，但赵昺站在历史公正的立场上讲，在战争激烈的时期，南宋整体对北军的薪饷待遇都是一流的，甚至要优于南军。可随着时光流逝，却造成南军官兵的不满，南军不服北军的好待遇，也要分一杯羹。
应当说，于是问题来了，著名的山东红袄军首领李全等人就一度因为南宋的猜忌游走金、蒙古之间，给南宋两淮防御造成了严重损害，甚至让一度居于优势的南宋连连败北，可谓血的教训。比李全更为倒霉的则是刘整。贾似道控制了朝政后，推行“打算法”，目标是以整治军中的贪污腐败为幌子，借机打击那些功劳卓著、不尊重贾似道权威的将帅。
换言之贾似道玩的是清除不服从自己的力量，扶持自己的手下李庭芝、吕文德、吕文焕等人。为此他先后清洗掉对自己不敬的多名南宋高级将领，由金入宋