樊增祥初為陝西知縣，諂事鹿傳霖，後又入榮祿幕，辛丑西安諭旨多其所擬，自是日益騰達，不一二年由縣官躐升藩司。甲辰入京陛見，求順天府尹不得，怏怏入關，氣凌巡撫曹鴻勛，出其上。陝西督糧道缺美腴甲天下，每歲陋規多至二十萬，升允為藩司時詳請裁汰，歸其利于公，事未行而遷甘督。增祥繼任，盡反前政而私與督糧道通，或以告升允，升允以公文詰責。數十年來，總督不問隔省事，升允強干有氣力，嘗糾彈奕 ，不為權貴所懾。增祥得檄不敢校，遜詞謝之，有“慶邸能容公，公豈不能容增祥”語。升允不听，遣蘭州知府入陝提案，增祥曰︰“知府無朝命，安能隔省按事？執系長安縣。”升允大怒，即電劾增祥，而增祥先已密奏總督奴視藩司，要挾無禮等款。朝議擬兩解之，適趙炳麟參折上，言增祥倚任私人，稱樊門三狎客，廣購第宅，贓款累累。詔四川總督錫良查辦得實，遂落職。
