榔梅祠位于通往金顶的路上，是武当山十六座祠庙中最大的也是保存较完好的一处。
榔梅真人李素玺，生于元朝泰定致和元年（1328年），字幽岩，河南洛阳人，深研《周易》、《道德经》。洪武初年，李素玺入武当住持五龙宫，永乐三年（1405年）派道士易本中将武当榔梅仙果敬献朝廷，永乐四年，李素玺又派道士吕正中到京城敬献榔梅，得到了明成祖朱棣的赏赐。皇帝认为，榔梅结果是个“瑞兆”，是玄武大帝对他登基即位的赞美，近而也成了明皇室大修武当、酬谢神恩的理由之一。于是，永乐皇帝下旨，封李素玺为“榔梅真人”。
相传，榔梅是玄武大帝在武当修练时，曾折下一段梅枝插在榔树上，说：“吾若道成，开花结果”。后来，他果然得道成功，梅枝在榔树上也插栽成活。据说，人吃后祛病压灾、延年益寿。关于榔梅树开花时候的情景，明朝魏良辅有诗一首：“冻梅偷暖著枯芽，石径云封第几家。雪色风香尤意会，青鸾御出过墙花。”
朱棣曾下圣旨对榔梅树进行保护，将果实做为贡品和禁果，由武当道士每年进献。皇帝还经常用榔梅果奖赏有功之臣，朝庭功勋大臣们都把能得到一枚榔梅果做为政治荣誉而终身荣幸。明代著名医学家李时珍在《本草纲目》中记载：榔梅，只出均州太和山。地理学家徐霞客在游览武当山后，也曾记载：榔梅祠旁多榔梅……，并形容榔梅开花时“花色浮空，映山绚丽……”
但是到了清朝，不知什么原因，武当山的榔梅树就已经完全绝迹，许多人遍访武当寻找榔梅，但都是扫兴而归，只留下“惆怅依荒岩”的遗憾。
值得庆幸的是，明嘉靖五年，安徽齐云山道士访武当山时，武当道教做为贵重礼品将榔梅树赠予齐云山。
一九九八年，武当山将榔梅树从齐云山引回，栽植在榔梅祠旁。人们希望不久的将来，武当榔梅会再现“花色浮空，映山绚丽”的景观。
