庐山之所以被称为庐山，主要与周朝时期的一个传说有关。根据传说，在周朝时期，有一个名叫匡俗的人来到庐山修道，希望成仙。当周朝的天子得知匡俗的事迹后，曾多次邀请他出山辅佐，但匡俗一心追求仙道，不愿意为官，于是躲入深山，并最终不知所踪。人们相信他已成仙，因此将他居住的地方称为“神仙之庐”，这座山也因此得名庐山。另外，也有传说称匡俗的父亲和老子李耳一同在庐山炼丹，最终得道成仙，只留下一座空庐，因此这座山也被称为“人去庐存”的庐山。
这些传说为庐山增添了神秘色彩，而“庐山”这个名字最早的文字记载出现在《史记》中。在不同的历史时期，庐山还被称为匡山或匡庐。到了宋朝，为了避讳宋太祖赵匡胤的名字中的“匡”字，曾一度改名为康山。
需要注意的是，虽然这些传说富有想象力，但庐山的形成实际上是地质作用的结果，经历了长时间的地质变化和造山运动