北都陷，以智间行归里。大铖党又欲以从逆陷杀之，几不免。南都陷，以智徒步走江、粤，顾自是无仕宦情，乃改名姓称吴秀才，游南海。参议姚奇胤与以智同举进士，一日，拥驺从出，与以智遇。以智趋避书肆中，奇胤愕眙，下肩舆，相持泣下，人始知其为以智矣。奇胤劝令强起襄时难，以智不答，留客奇胤署中。
瞿式耜闻而迎馆之。会上即位于肇庆，擢左中允，充经筵讲官。司礼太监王坤奏荐大臣数十人，给事中刘抗疏言：“内臣不得荐人，况大臣乎！坤所荐者皆海内人望，方且以间关不得至为忧，若闻坤荐，当益裹足不前，则是名荐之而实止之，拒人于千里之外也。”坤怒，将逐，且疑疏出以智手，为寝经筵。以智既无宦情，讲官之命为式耜所强受，又不见庸，遂决挂冠去，浮客桂、柳间。粤西稍定，就平乐之平西村筑室以居。
以智诗仿钱、刘，平远有局度，书法遒整，画尤工，弈棋亦入能品，尤嗜音律，喜登眺，至是放情山水，觞咏自适，与客语，不及时事。楚、粤诸将多孔部校，欲迎以智督其军，以智咸拒谢之。永历三年，超拜礼部尚书、东阁大学士，不拜。诏遣行人李浑敦趋入直，以智野服辞谢，不赴。平乐陷，马蛟麟促以智降，乃舍妻子，为浮屠去。