有一天，他召集全家老小在一起吃團圓飯。在吃飯期間，他突然把燈吹滅了，然後問道：「這燈是誰吹滅的？」 沒有人回答。過了一會兒，他的夫人說：「老爺，我看見這燈是你吹滅的。」

張良笑了笑說：「這就對了，是我吹的。可見誰做事誰來當，沒有人來替你承擔啊。所以我決定要出家修行。在這個世上，做個好人便有奸人陷害，做個壞人，將來必定要自己來承擔所做的一切，哪怕一點點小事都沒有人來為你分擔啊。」

家人苦苦相勸，然而張良決心已定，去了山上一個洞裡修行。