「敖包」大多數都築在山頂或丘陵上，一般呈圓形，高約數丈，頂端種有柳樹枝條或者榆樹枝條；此外，在敖包頂上，一般都插有三根「瑪尼桿」，掛著部落的旗幟，正面緊靠敖包安放著一把明晃晃的三股鋼叉，包前有石製的貢桌。

關於「敖包」的由來，在蒙古族牧民中流傳著許多美好的傳說。

比如在內蒙古希拉穆仁草原上，就流傳著「紅格爾敖包」的傳說。傳說有一個蒙古族牧民的母親得了重病，無法醫治。該牧民就徒步趕往聖山五台山，準備燒香拜佛，為母親祈福。他一步一磕頭，歷經千辛萬苦，終於到達了五台山。等他燒完了香拜過了佛，就一下子暈倒了。五台山上有一座神奇的敖包，裡面的神佛感念他的虔誠，就將信徒供奉的食物放到了他的面前。

牧民醒來後，認為佛祖真的顯靈了，老母一定有救了，一下子便坐了起來。他將貢品包起來，快步的往家走。在漆黑的夜裡，他迷路了。正在這時，一盞明亮的燈在他前面亮了起來，為他指路，這盞燈就是敖包裡的神幻化出來的。在明燈的指引下，牧民很快回到了希拉穆仁草原。在紅格爾山包上，那盞明燈突然站住不走了。當牧民回到家裡，看見母親已經完全康復了。

第二天，牧民攙扶著母親，來到紅格爾山包上，用石塊壘起一座敖包，取名叫做「紅格爾敖包」，他希望讓五台山敖包的神靈永遠在希拉穆仁草原上安家。這一天，是中國的農曆五月十八。從此以後，每年的這一天，牧民和他的孩子都來祭祀紅格爾敖包。

研究者認為，「敖包」大抵分為四種類型：一種是用來標明旗（縣）、省界的界標；一種是幸福為了鎮鬼敬神、保佑旗民平安幸福而設置的；一種是用來安葬蘇木達日嘎（鄉一級的長官）、扎薩克（旗長）、英雄、名人、活佛、喇嘛的；最後一種是作為道路的標記用的。

不過，「敖包」在草原人們的心目中，一直具有神聖的位置，象徵著神靈在其位。人們每逢外出遠行，凡是路經有「敖包」的地方，都要下馬向「敖包」參拜，祈禱一路平安；還要往「敖包」上添加幾塊石頭或者幾捧土，然後才跨馬上路。牧羊人在放牧時路過這裡，總要往「敖包」上添加一塊石頭，以保佑人畜兩旺。

祭敖包的歷史十分悠久。《漢書·匈奴傳》記載：「歲正月，諸長小會單于庭祠。五月，大會龍城，祭其先、天地、鬼神……」蒙古人祭敖包就是延續這種古俗而來。大概在清朝時期，「祭敖包」的習俗才固定在每年的農曆五月中旬，一般持續三四天。遠近牧民，都要來參加，還要請眾多的喇嘛誦經，如同過節一樣，非常熱鬧。據說，吃了祭品，人會得到福氣。