现在综合几种对这问题的分析，我见过这样的几种解释：
岳飞不懂政治，不理解天家无父子这个最基本的政治场常识，公然提出要接回徽宗钦宗，置近乎白手起家的高宗赵构于何地？而接回徽宗钦宗的要求又是如此大义凛然，以至于任何人都没法正面反对，高宗赵构更是不得不表态支持，相当于岳飞用这个口号绑架了整个朝廷。至于徽宗钦宗他们回来，会发生什么事情，可参见明英宗被释放之后的南门之变，景帝下台，于谦被杀。一朝天子一朝臣，上到皇帝下到高宗任命的大臣，只怕都不想他们两个 上皇回国，等于站到了整个官场对立面上。
还是岳飞不懂政治。高宗南逃过程中，受了惊吓，终生不育。这本身就是男人之痛，做为朋友部下都应该避讳。岳飞身为武将，多次就立储君问题，对高宗提各种建议，自然落下武人干政之嫌疑。赵家本来就是军方将领政变起家，对武官限制格外严厉，对武将言行尤其忌讳。岳飞在这个事情上犯了这个王朝的头号忌讳。在北宋时期，权重位高的狄青，都被活活惊吓忧虑而死，岳飞在这个敏感问题上多次表态发言，确实犯忌。
希望以上回答能帮到你。