1274年，忽必烈拜伯顏為中書左丞相，率兵攻打南宋。臨行前，忽必烈對他說，當年宋太祖的大將曹彬攻打南唐，從不濫殺無辜，一舉平定江南。你要體會我的心情，傚法他啊，不要讓我的人民橫遭鋒刃。

伯顏和大將阿術率領二十萬軍隊，水陸並進，一路所向披靡，連敗宋軍。到達江州時，宋兵部尚書呂師夔不戰而降，並在府中設宴款待伯顏，趁著酒酣耳熱之際，呂師夔將二個從宋宗室裡挑選出來的女子作為禮物獻給伯顏。不料伯顏大怒道：我奉天子之命，以仁義之師來向宋朝問罪，女色豈能動搖我的志向！嚇得呂師夔趕快跪地求饒。

伯顏一直牢記世祖的囑咐，在戰爭期間，正逢疫病流行，老百姓貧病交加，飢餓難耐。伯顏下令開倉賑糧，發藥治病。百姓們大為感激，都稱頌伯顏的軍隊為王者之師。第二年，伯顏包圍臨安，宋恭帝交出國璽，南宋滅亡。

臨安城是南宋的都城，繁華富足，金玉珍異，應有盡有，但伯顏從不為所動。進入臨安後，他首先下令封存府庫，登記錢谷；又命令將士一律不得擅自進城，敢於暴掠者，軍法從事。因而鬧市商業區熱鬧如故，生意照常進行。二個月後，伯顏將宋皇宮中的祭器、儀仗、圖書等全數北運，宋皇室成員押解至上都。忽必烈大喜，要嘉獎伯顏，伯顏卻謙虛的說：這是陛下英明決斷，將士們英勇拚殺，我沒有什麼功勞。

在歡迎伯顏凱旋的路上，權臣阿合馬為了討好伯顏，第一個向他道賀。為表示謝意，伯顏就解下佩帶的玉鉤帶送給阿合馬，並說：宋皇宮中的寶貝確實不少，可我什麼也沒拿，希望你不會嫌我的禮薄。阿合馬不相信伯顏的話，以為伯顏看不起自己，懷恨在心，就在皇帝面前誣陷伯顏私藏宋室至寶玉桃盞。世祖派人調查，因為沒有證據而不了了之。阿合馬死後，有人獻玉桃盞，忽必烈愕然道：差一點冤屈了忠良。

「擔頭不帶江南物，只插梅花三兩枝」，伯顏就是這樣一位不貪財，不愛色，品德高尚的將相良材啊。