传说八仙之一的铁拐李有一次和碧灵山的百花仙子吵嘴。铁拐李气不过，就到弥陀佛那里借乾坤袋，搬山去塞碧灵山洞，不让百花仙子进出。弥陀佛不肯借，她就骗弥陀佛说道：“搬山是为了帮人间填海防洪。”弥陀佛这才借给了他。
他到霹雳山装了满满一袋山种，用张果老的驴驮着，自己躺在云端上喝酒，不知不觉就睡着了。
这是，百花仙子的妹妹百草仙子正外出云游，见铁拐李要装山塞满自己的山洞，就趁他不注意，用灵芝宝剑把乾坤袋戳了一个洞。呰中腔调，袋里间的山种从西天一路向东土抛撒，西面的山马上一个个地长了起来，多了不得了。等他到了碧灵山，才发现袋子已经空了，他气了把袋子一撂，袋子里间仅存的一粒小山种抛到东海旁不间，长起来了够，就是现在的孤山。

张果老的毛驴驮山吃力了浑身无力，就撑在前山休息，撒了一仗尿，前山就冲矮了，不再向上长。铁拐李走的辰光，又把一副小金磨丢了来山中，小金磨来山中不停地转，弄了后山不断地长高，所以孤山的后山比前山高。