据《太平御览》记载，公元569年的南北朝时，南陈陈文帝的第二个儿子陈伯恭曾率领兄弟九人，为避战乱，在山上建了九座行宫，分别为混元宫、八卦宫、青龙宫、白虎宫、斗姥宫、无为宫、三清宫、七真宫、移花宫，后人因此称为九宫山。又有一说，九宫山四峰五岭合九宫之数。