後來黃霸當了長史，漢宣帝下詔書，要求群臣為漢武帝制定「廟樂」，大臣夏候勝說：「漢武帝雖然有開疆之功，可是好殺多費，使天下虛耗，百姓流離，國家元氣至今不能恢復，為什麼要給他制定『廟樂』？」 群臣都斥責夏候勝誹謗先帝，只有黃霸沒有，所以最後兩人一起被下獄，等待處死。

在獄中，黃霸請求夏侯勝講授《尚書》，夏侯勝說：「我們都要死了，還學什麼呀！」黃霸說：「我聽古人說『朝聞道，夕可死』，我願意學習。」於是夏侯勝教黃霸《尚書》。到了第二年冬天，關東大地震，死了許多人，漢宣帝大赦天下，二人獲釋。

過了一年，黃霸被任命為丞相，那女子也就成了丞相夫人。

（《漢書》）