这个问题，我认为主要有几个原因。其实楼主可以看《百家讲坛》，由袁腾飞讲述的《两宋风云》。
其实，把岳飞召回，其实有一个很有名的典故，叫做“12道金牌”。意思就是，在岳飞将要把北宋故都汴梁收复的时候，高宗皇帝连下十二道金牌，把岳飞召回了临安。从中也不难看出，高宗皇帝的心急如焚。
其实，在岳飞打到汴梁时，高宗皇帝正在看岳飞的捷报，心里在一开始，其实很是高兴。但后来，经过秦桧的一搅和，高宗皇帝就给岳飞，连下十二道金牌，将他召回。
其实，秦桧在这中间，只是对着高宗皇帝说了三句话，就立刻让岳飞的成功功亏一篑：
“陛下，您真的相信岳家军能消灭金军吗？这才不过仅仅十几年。”这一句话，使宋高宗陷入了沉思，毕竟，在十几年前的宋军是什么模样，高宗很清楚。秦桧这句话一说出，高宗皇帝也在想：对呀，我没有到前线。但是高宗皇帝还是相信岳飞这个忠臣的。
“陛下，您还记得前两年的淮西军变吗？你还记得杜充这个人嘛？”这一句话，可以说，是可怕的。这句话就好像往伤口上撒盐。淮西军变，4万正规军，一夜之间就变成金国人的了。所以，武将造反这一类事件，就使宋高宗十分害怕。高宗皇帝开始犹豫。
“太祖皇帝龙兴之前，也是个忠臣吧。”这句话，可以说秦桧说到了高宗皇帝的痛处，也是致命的一句话。他这句话一说出来，高宗皇帝就连下12道金牌了。太祖，指宋太祖赵匡胤。黄袍加身，这一件事，不就是因为他以兵权相要挟，使年少的皇帝退位的吗？而且，在建立宋朝以前，他也是个忠臣啊，不然他怎么会掌管这么多兵权。所以这一句话，就是宋高宗改变了看法。
其实，我个人觉得，这当中还有两个原因。
一个，就是宋朝自古就怕：武将造反，宗室领兵。不然，也就不会有赵匡胤杯酒释兵权的典故了。毕竟岳飞手下这么多兵权，而且还请求援兵，要是一夜造反怎么办。高宗皇帝也是在顾虑之中。
第二，就是迎回二圣。二圣，就是指北宋的最后两位皇帝宋徽宗和宋钦宗二帝。假如岳飞，在金国人的地盘里真的迎回二圣（一个是宋高宗的父亲，一个是他的哥哥），那么，高宗皇帝的皇位就会受到威胁，毕竟，皇室中，有父亲，有兄长，当皇帝也轮不到你这个弟弟。这么一来，皇帝的位置就变得名不正言不顺，变得岌岌可危了。
在这种种原因之下，召回岳飞，也就在情理之中了。
希望您能满意我的答案。
参考资料：http://space.tv.cctv.com/video/VIDE1249381070174889