再说刘光世不守合肥，差点酿成大祸，张浚回朝，弹劾刘光世“骄惰不战，不可为大将，沉湎酒色，不恤国事”，三月二十二日，赵构拜刘光世为少师，充万寿观使。刘光世犯错，为什么升爵位，我们在此节“佐料”里再介绍。刘光世由此离开了自己一手创建的刘家军—淮西军，正式被剥夺了军权。
张浚将淮西军隶属都督府（张浚以宰相兼枢密使身份都督全国各路军马，设都督府），分为六军，想重新为淮西军谋一位统帅，特意将岳飞召至都督府，征求淮西军统帅人选。
张浚对岳飞道：“王德是淮西军的元老，我打算让他做淮西军都统制，再让兵部尚书、'；都督府参谋军事'；吕祉来统帅淮西军，你认为如何？”
岳飞分析道：“王德和郦琼不相上下，互不买账，一旦让王德居郦琼之上，郦琼必然不服。吕尚书不熟悉军旅，恐怕压制不住他们。”
张浚又问道：“那么张宣抚（指张俊）如何？”
岳飞毫不客气地道：“张俊脾气暴躁，缺少谋略，郦琼对他尤其不服！”
张浚再问：“杨沂中怎样？”
岳飞回道：“杨沂中和王德本事差不多，怎么能够驾驭淮西军？”
张浚处处碰壁，不由得沉下脸道：“这也不行，那也不行，我张浚知道，就你岳太尉行！”
岳飞愕然道：“都督以正事询问我岳飞，我不敢不诚实地回答，怎么有得兵的想法？”
从这段对话，我们可以看出，岳飞的性格太过于耿直，当然，他可能正气恼朝廷出尔反尔，不将淮西军隶属他节制。但他的回答，几乎冒犯了朝中所有大将！这大概也是他被秦桧陷害时，除韩世忠外，几乎无人出言挽救的原因吧。
岳飞不仅得罪了其他重要将帅，也得罪了朝中大佬张浚，而且，岳飞的倔脾气一上头，便失去了理智，竟然和张浚谈完后，上疏说要辞职为母亲守丧三年，更为严重的是，岳飞没有等朝廷答复，直接将部队交张宪代管，自己回庐山守丧去了。这个举动，多少折射出岳飞自傲、冲动的缺点！前期在王彦手下，岳飞其实暴露出了这个缺点的。但人无完人，金无赤金，这是人之常情。
张浚闻讯大怒，立即上奏赵构，说岳飞处心积虑，意在并吞淮西军，阴谋失败，便向朝廷辞职相要挟。好在赵构此时十分看好岳飞，仅任命张宗元暂时为岳家军的“宣抚判官”，负责监察全军。
另一方面，赵构下诏，督促岳飞回军营。岳飞却不肯听从。赵构又诏令鄂州军营将佐立刻敦请岳飞还军，岳飞还是不肯出山。最后，赵构下诏，命宣抚司参议官李若虚、统制王贵一同去庐山敦请岳飞还军，如果岳飞违诏，李若虚、王贵等军法从事！
李若虚和王贵上庐山后，在庐山东林寺见岳飞，说了朝廷的意思，请岳飞回军“掌舵”，岳飞还是不肯。
广告位置下