《湖广通志》记载，曾因晋代郭璞在“磨基山”结庐而得名“郭道山”。而在此前不知何时“磨基山”已被称为“孤山”。这是“磨基山”最早的人文称谓，并一直延续至明代，据说是因孤峰临江而得名。
相传晋代葛洪曾在夷陵孤山炼丹。旧志记载：孤山改称“葛道山”，是因相传葛洪在此炼丹之缘而得名的。这些都是“磨基山”有文字可考的称谓。与葛洪、郭璞同时代的，还有袁崧，他曾经从孤山斜坡登上山岭，“岭容十许人，四面望诸山，略尽其势。”“俯临大江，如萦带焉，视舟如凫雁矣。”
不知何时又流行一种传说，说是在孤山的山底，深埋着一副仙人留下来的金磨子，于是“磨基山”由此得名，当然也有称“磨子山”的，但要数“磨基山”称谓流传更广更久，一直流传至今。也有不少宜昌市市民称“磨基山”为“磨矶山”或“磨叽山”的。“磨矶山”自然指山形似磨，山脚临江，“磨叽山”则是“磨矶山”的谐音。 进入清代，尤其是随着开埠，市区便开始大规模向古城外拓展，形成了以解放路、二马路一带为标志的近代城市景观。1930年12月夷陵古城被拆除，市中心区连成一体，发展至今。此间，来宜外国人逐年增多，他们一见隔江相望的“磨基山”，就仿佛看到埃及的金字塔，有人便称之为“金山”。20世纪初来宜的美国人盖洛，就曾说过宜昌对岸那金字塔似的大山，十分壮观，使人印象深刻，他还讲了一段有关“磨基山”的传说。到上世纪30年代，《中华现代新地图》中的《宜昌市街图》干脆就将“磨基山”称为“金字塔”。 “磨基山”见证宜昌历史，宜昌历史为“磨基山”注入人文内涵。自“晋代三贤”后，磨基山便成为夷陵古城的胜迹。历代的文人墨客争相攀援登顶，吟诗作文，仅《宜昌府志》上记载的诗篇就有11首。这些诗篇的作者在领略孤山风光之余，触景生情，怀念故人，感叹人生，使孤山的人世情缘传承延伸，文化积淀增厚添彩，成为宜昌历史文化的重要宝藏。
