相傳武英殿大學士潘芝軒先生,懸弧之日,其庭前忽產一芝,潤鮮可愛,先生因以自號焉。道光三年夏,公先以大司徒忤旨家居。適江浙大水,饑民乞食載道,公首倡蠲賑,每自辰至午,至者人給一升,過午則止不給。一日已交未初,饑民皆散去,忽有白發老嫗,攜青布囊龍鐘而至,閽者拒之,嫗號泣不肯去。閽者不得已,走告公,公惻然,命呼之入,視其囊僅容升許,且中有一孔,量與之,至斗余不足,嫗止之曰︰“足矣。公樂施如此,天必賜福。”遂攜其囊而去,並無泄漏,惟案上遺米數合,公呼僕拾取,則粒粒皆明珠也,其大者圓湛如戎菽。或疑此嫗為菩薩化身也。