紹興七年三月，浚奏劉光世在淮西，軍無紀律，罷為少師、萬壽觀使，以其兵隸都督府。命參謀、兵部尚書呂祉往廬州節制，且以王德為都統制，酈瓊副之。瓊與靳賽，皆故群盜，與王德素不相能。德，威聲素著，軍中號為王夜叉。都承旨張宗元，深以為不可，謂浚曰︰"瓊等畏德如虎，今乃使臨其上，是速其叛也。"浚不謂然。復謀之岳飛曰︰"王德，淮西軍所服，浚欲以為都統制，而命呂祉為督府參謀領之，如何？"飛曰︰"德與瓊素不相下，一旦使揠之在上，勢所必爭。呂尚書雖通才，然書生不習軍事，恐不足以服之。"浚曰︰"張宣撫何如？"飛曰︰"暴而寡謀，且瓊輩素不服。"浚曰︰"然則楊沂中耳。"飛曰︰"沂中視德等耳，豈能馭之？"浚艴然曰︰"浚固知非太尉不可。"飛曰︰"都督以正問飛，飛不敢不盡其愚，豈以得兵為念哉！即日乞解兵柄，持余服。而浚訖行之，瓊輩懼不敢喘。
及德視事教場，諸將執撾用軍禮謁拜。瓊登而言曰︰"尋常伏事太尉不周，今日乞做一床錦被遮蓋。"德素獷勇自任，竟不解出一語慰撫之，遂索馬去。于是瓊輩愈懼，相與連餃上章，乞回避之。
張宗元知其事，復語浚曰︰"業已爾，今獨有終任德，或可以鎮，不然，變且生矣。"浚不以為然，遂奏召德還。以張俊為淮西宣撫使，駐盱眙；楊沂中為淮西制置使，劉 副之，並駐廬州。且命酈瓊以所部兵赴行在，意將以奪其軍而誅之。宗元听制于文德殿下，語人曰︰"是速瓊等叛耳。"會祉復密奏罷瓊兵柄，書吏朱照漏語于瓊，于是叛謀始決。及金字牌飛報，呂方坐廳事，聞有大聲如<骨孝>箭闢歷，自戟門隨牌而至，啟視之，乃三使除書也。呂拍案嘆曰︰"龐涓死此樹下。"即時亂作，遂縛呂祉，及殺中軍統制張景、鈴轄喬仲福、劉永衡、前知廬州趙康直、釋知廬州趙不群，以其所部七萬人悉叛歸劉豫。至淮岸，遂殺祉及康直，釋不群使還。浚乃亟遣張宗元使招之，已不及矣。
浚遂上章引咎，台臣交章論列，謂︰"浚輕而寡謀，愚而自用。德不足以服人，而惟恃其權；誠不足以用眾，而專任其數。若喜而怒，若怒而喜；雖本無疑貳者，皆使之有疑貳之心。予而陰奪，奪而陰予；雖本無怨望者，皆使之有怨望之意。無事，則張威恃勢，使上下有暌隔之情；有急，則甘言美辭，使將士有輕侮之意。酈瓊以此懷疑，以數萬眾叛去。然浚平日視民如草菅，用財如糞土。竭民膏血而用之軍中者，曾何補哉？陛下尚欲觀其後效，臣謂浚之才，止如是而已。"時司諫王縉，則以罪在劉光世，參政張守期為力求未減。都官郎官趙令衿，則乞留浚，陳公輔則謂不可因將帥而罷宰相，于是罷為觀文殿大學士，提舉太平觀。其後，言者不已，遂詔落職。既而御批"張浚散官，安置嶺表"。趙鼎力⺬求解之，改秘書少監，分司西京，且為出言官于外。
《退朝錄》曰︰"紹興二十年，浚復上疏論邊事。高宗為湯丞相雲︰'張浚用兵，不獨朕知之，天下皆知之，如富平之敗，淮西之師，其效可見矣。今復論兵，極為生事。'于是復有永州之命。"
《揮麈錄》雲︰"淮西軍叛後，馮楫啟上曰︰'如張浚者，當再以戎機付之，庶收後效。'高宗正色曰︰'朕寧至覆國，不用此人矣。'遂終高宗朝，不復再用。"
