裴公亭位于资江一桥南端西侧的白鹿山上，为纪念唐代名相裴休贬任荆南节度使时数次栖住益阳而建。裴休，字公美，河南济源县人，博学多能，工于诗画，擅长书法，唐宪宗时，任兵部侍郎兼领诸道盐铁史，后升为中书侍郎、宰相，他改革漕运积弊，制止藩镇专横，颇有政绩。晚年遭贬，任荆南节度使，潜心研究佛家经学，常在益阳小住十天半月，在江边结卢读书诵经，后来人们索性在青山云树之中，修了一座楼亭合一的裴公亭，供裴公读书小住。裴公十分高兴，流连忘返，朗朗的读书诵经声，曾引来仙白鹿驻足聆听。
亭依山傍水，古木环抱，远望树色葱茏，云蒸霞蔚。古“资江十景”中，称之为“裴亭云树”。明代罗先衡曾书“咏裴公亭”诗一首：峭壁临江诸，登高仰昔贤；草亭空寂寂，云树尚依然。亭中题刻有清高僧海印的一幅对联，联曰：“资水滔滔，淘尽古今人物。问裴公何去，云树犹存，遗址怅空亭，白鹿不来秋又老；江风浩浩，吹开天地尘氛。喜海宇荡平，狼烟都净，名山寻旧约，黄花应笑我归迟。”
古代的裴公亭，几经风雨衰废，古貌已无从查考。1923年由地方捐资新建的裴公亭高三层，亭上有“裴公亭”门匾，亭内供奉有裴公画像，和出生在益阳的明末江西巡抚郭都贤、清代翰林院学士胡太源的神位牌。
现在屹立在桥头的裴公亭，是1982年重新修建的，仿唐宋风格，亭高二层，亭上三个苍劲雄浑的行书字：“裴公亭”，为中国佛教协会会长赵朴初先生题写。亭门两边，雕刻着一幅醒目的对联：裴亭月隐千年树，白鹿钟回万里云。亭周建有著名作家叶紫纪念台，汇集益阳古十景画的艺术长廊，塑有白鹿群雕，人造石钟，通幽的曲径台阶，小巧的望江亭阁。裴亭精巧玲珑，文化品位颇高。
