岳飞在《南京上皇帝书》中说：“为今之计，莫若请车驾还京，罢三州巡幸之诏，乘二圣蒙尘未久，敌穴未固之际，亲帅六军，迤逦北渡，则天威所临，将帅一心，士卒作气，中原之地指期可复。”

然而，岳飞赤胆忠心、发自肺腑的奏章，传到黄潜善、汪伯彦手上时，万万没有想到，给了一个“小臣越职，非所宜言，夺官归田里”的处分，而被赶出军营。此时连生计也没有着落的岳飞，并没有被沉重的打击所吓倒，为“尽忠报国”，他又直奔河北抗金前线。

建炎元年（公元1127年）八月，岳飞辗转来到大名河北西路招抚使张所的大帐前，再三恳求，参见张所本人。张所的幕僚赵九龄向张所推荐了岳飞。在张所问询中，岳飞引用《左传》中列举的两个战例“栾枝曳柴以败荆，莫敖采樵以致绞”后说：“勇不足恃也，用兵在先定谋，谋者，胜负之机也，故为将之道，不患其无勇，而患其无谋。”岳飞掷地有声的回答，使张所大为惊奇，称赞道：“公殆非行伍中人也。”饱读经史的张所破格将岳飞提拔为借补从七品的武经郎，任中军统制，比他革职前还高出两级。

艰难时刻的知遇，抗金志向的契合，使岳飞对张所的感激之情难以言表。然而，当他奉命和张翼、白安民跟随王彦出征时，竟没有料到，是和看中他的上司张所的最后诀别。岳飞随王彦离开大名之后，宋廷贬谪张所的命令下达，南宋初年优秀抗金文臣张所没能死在刀光剑影的战场上，却在居留古潭州今长沙时，被盗寇刘忠杀害。多年后，岳飞成为战区统帅，派人遍访张所的儿子，荫补为官，以报答张所对他的知遇之恩。

张所去世后，岳飞跟随王彦移军新乡石门山。

建炎四年（公元1130年）初春时节，岳飞已不能保持军士们最低限度的衣食供给，宜兴县知县钱谌得知这一情形后，致书岳飞，真诚欢迎他率军进驻宜兴，并说县里存粮可供一万军人吃十年，于是岳飞率军进驻宜兴县。军营屯扎在县城西南的张渚镇。

在宜兴，他率领的这一支军队，能够做到秋毫无犯，对于当时当地百姓的安居乐业起到了很大的作用。那个时候，因为整个是一个兵荒马乱的局面。一方面，是溃败下来的军队，另一方面是当地的土匪盗贼经常搅扰着老百姓，民不聊生的。所以在这种情况下，有岳飞的军队能够安济一方，百姓的心里是喜出望外的，有这样的一种感觉，所以呢，那个时候有很多人都传颂着一段话，就是说：“父母生我也易”；公能安济我们却难，就是说，父母生下我们并不困难，但是能使我们安居乐业，这个是岳飞带给他们的，这是很难做到的。在这种情况之下呢，周围一些地区的老百姓，知道这里有一方平安，所以也都陆继地携家带口集中到这一带来，有不少的老百姓把岳飞的像刻下来或者是摹勒成画像挂在家里，而且在当地建立了岳飞的生祠，这样一来，岳飞在当地就声名大震。那个时候，其实他才只有二十七八岁，本来是南宋军队一个年轻的统制，但是他以一种非常坚定的要安民、要抗金这样的信念，组织起来自己的军队，而且在这种很艰苦、很困难的条件之下，发展着这样一支抗金劲旅。这支抗金劲旅逐渐地具有了自己的特色，而且一直是团结在岳飞的周围，后来就被老百姓亲切地称之为岳家军。

建炎四年（公元1130年）春，完颜兀术率领的金军先后进驻了杭州、宁波、嘉兴、苏州、常州等地，在杭州纵火三天，在苏州放火五日，苏州民众共五十多万人，只有十分之一、二的人口幸免于难。金军这种强暴行为，引起了这片当时最富庶地区民众的极力反抗。著名宋军将领韩世忠在镇江以八千水军阻击完颜兀术的十多万金军，双方又在南京东北的黄天荡等处相持四十天。金军一直处于狼狈境地，但最后金军利用火攻，使韩世忠的舰队失败了，于四月二十五日渡江撤退。一部分金军进驻建康府。而同一天，岳飞却在建康城南的清水亭首战告捷，使金军横尸十五宋里，缴获兵械三千七百多件。

在敌众我寡的形势下，岳飞采取自南向北的策略，驱逐金军过江。他在建康府城南三十里的牛首山扎营。利用山上的优势，整顿军队，建立工事，准备与完颜兀术展开大战。

建康战役历时半月，岳家军斩杀女真“秃发垂环者之首无虑三千人”，擒获千夫长留哥等二十多名军官，铠仗旗鼓数以万计。其中仅靖安镇一战即生俘金兵三百多人，包括八名女真官员。这是岳家军首次从金军手中夺回的重要失地。这次胜利不仅彻底拔除了金军在江南的最后据点，使金军在江南“不复留下一骑一卒”，而且从根本上扭转了南宋的危难局面，保障了江南不再受战火焚烧，稳定了南方的社会生产和社会秩序，从而受到南宋朝野的普遍赞扬。宋高宗破例召见了岳飞，并赏赐了铠甲、鞍马、镀金枪等物品，以资嘉奖。南宋删定官邵缉上书朝廷，特别提到要记录岳飞收复建康的功绩。