春秋時期，孔子有一個學生，姓司馬，名耕，字子牛，人稱司馬牛。傳說司馬牛是宋國大夫桓魋的弟弟。桓魋在宋國犯上作亂，失敗後全家被迫逃亡。司馬牛逃到魯國，拜孔子為師。他對桓魋的所為十分不滿，並宣佈桓魋不再是他的哥哥。為此，他經常感到憂傷。

一次，司馬牛憂愁的說：「別人都有兄弟，惟獨我沒有。」子夏勸解道：「我聽說過：『死生有命，富貴在天。』君子做事情只要嚴肅認真而不出差錯，對人恭敬而合乎禮儀，那麼，四海之內皆兄弟也。你為什麼還擔心沒有兄弟呢？」

「四海之內皆兄弟」就是從這個故事來的，意思是說，天下的人都是自己的兄弟。如果天下人真的能以兄弟之誼相待，人與人之間的紛爭必將少了許多。