到了隋煬帝大業年間，裴寂已經年近四十多歲了，仍然只不過是個晉陽宮副監的小官，已經對前途不再指望了。當時天下盜賊橫行，太原留守李淵想要起兵討賊，但缺乏軍用糧草，無法成行，裴寂籌集了九萬斛大米、五萬段雜彩，四十萬副鎧甲給李淵。李淵平定京師盜賊後，出任大丞相，於是任命裴寂為大丞相府長史。

後來李淵開國當了皇帝，對他說：「我能有今天都是你的功勞。」任命裴寂為尚書右僕射，裴寂兩次為朝廷領軍出征，結果都大敗而歸，李淵也不和他計較。裴寂想要引咎回鄉，李淵不准，說：「我還沒有老了，你怎麼就不想幹了呢？」當時滿朝王公貴，沒有誰有這樣的殊榮。裴寂活了六十歲，死後被封為河東郡公。

（《新唐書》）