淳 甲辰，杜清獻範薨，游清獻以拜右揆，趙葵南仲樞使、陳к子華參政，皆一時宿望。明年四月，游相以大觀文奉內祠侍讀。既而趙公出督江淮、荊、襄、湖北軍馬，陳公以知院帥長沙，遂再相。鄭忠定清之、王伯大、吳潛，並為僉樞。乙巳，趙公兼江東帥、知建康、留鑰，趙希憲以禮書督府參贊兼江漕，淮帥丘山甫岳仍兼參謀，且頒御筆雲︰"趙葵兼資文武，協輔國家，領使洪樞，視師戒道，權不可不專。申檄處置，貴合時宜，一應軍行調度，並听便宜施行。所有恩數，眠儀宰路。"公既威名夙著，邊陲晏然。中間屢乞結局，不允。明年，遣隨軍轉運舒澤民滋，入白廟堂，許令帶職入覲。公力辭召命，且雲︰"更當支吾一冬，來春解嚴，容歸田里。"朝廷許之。
明年，北軍大入，因復留行府，措置戰守焉。中書陸德輿載之轉對疏，以為︰"去歲泗州大捷，彼方喪膽落魄。今春淮水漲溢，欲來不可。涉冬而春，邊鎮寧謐。近者駭言寇至，張大其說，或雲到儀真之境者，止五六十騎耳。"趙公聞之，大不能堪，封章屢上，力辨此謗。且雲︰"今年北軍之入，系四大頭項︰一曰察罕（河西人），二日大納，三日黑點，四曰別出古（並韃）。號四萬，實三萬余；馬，人各三匹，約九萬匹。惟恐有勞聖慮，前後具奏，一則曰寬聖慮，二則曰寬憂顧。臣領舟師往來應敵，未嘗有一語張大。今觀陸德輿奏疏，實駭所聞。伏乞委德輿親至維揚，審是虛實。臣當躬率騎士，護送入城，便見真妄。"于是朝廷以載之之言為過，遂為調停，寢其事焉。未幾，工部尚書徐清叟進故事，亦譏其闢屬之濫，趙公愈不自安。
是歲閏二月，鄭忠定拜太師，趙公拜右相，所有督府，日下結局。遂差右司陳夢斗宣赴都堂治事，而陳辭以此貂 之職不行，遂改差御藥謝昌祖往焉。夕郎趙以犬復有不肯書牘之意，事雖不行，而公之歸興不可遏矣。屢騰免牘，且引其父忠肅遺言不許入相之說以告，且雲︰"寧得罪以過嶺，難違訓以入朝。"御筆不允，降宣趣行。時陸載之方居翰苑，以嫌不草詔，遂改命盧壯父武子為之。時趙公各通從官書，謂元科降簿內，尚余新楮四百余萬，銀絹度牒並不支動，且言決不可來之意。常時從官作宰相書，例有先生之稱，至是皆去之。獨趙汝騰茂實尚書答書雲︰"大丞相高風立懦，力疏辭榮。昔司馬公固遜密府，近崔清獻苦卻宰席，書之史冊，並公而三，甚盛休。"而其微意亦可見也。
公歸計既決，遂申朝庭，于三月二十四日散遣將士，取道歸伏田里。所有新除恩命，決不敢祗受。既而與告復召，然公終不來矣。至明年三月，御筆︰"趙葵懇辭相位，終始弗渝，使命趣召，亦既屢矣。奏陳確論，殆逾一期。朕眷倚雖切，不能強其從也。姑畀內祠，以便咨訪。可除觀文殿大學士、醴泉觀察使兼侍讀。"後以疾丐外祠甚力，遂以特進判長沙，凡五辭，得請奉祠，徑歸溧陽里第焉。蓋一時 紳，方以理學科名相高，其視軍旅金谷等，為俗吏粗官。公能知幾勇退，不激不污，可謂善保功名者矣。
