建于宋代嘉定以前，在渠县城内西隅石于岗顶．元代次德年间(公元1297—1307年)重修；明代洪武年间（公元1368—1398年），邑侯梁从义移建于县城南外西岩侧，明天启元年（公元1621年）邑侯邸居正又于南郊将文庙迁回旧址，明代祟祯十六年(公元1643年九月初九)，文庙被农民起义军焚毁。《渠县志》载：“癸未重丸之交，‘贼’由西城毁堞而入，学宫焚焉。”隔二十年后，清代康熙二年(公元1663年）再度兴建。康雍、乾、嘉亦相继修葺。现存的文庙建筑，是嘉庆二十五年(公元1820年)动工重修的。整个工程于清道光元年(公元1821年)秋季才告竣工。清代文庙的建筑开始于距今三百一十六年前，前后历经康熙、雍正、乾隆、嘉庆四个皇帝，费时达一百五十八年之久。
走进文庙，最引人注目的是雄伟壮观的的朱红甬壁，正背两面皆书鎏金大字“宫墙万仞”，其正面四字，相传为康熙皇帝手书。宫墙建成于清乾隆五十九年(公元1794年)，距今一百八十余年?。“宫墙万仞”四字，来源于《论语?子张篇》，“夫子之墙数仞；不得其门而入，不见宗庙之美……。”古代人们以七尺或八尺为一仞，“万仞”是形容高的意思。宫墙两边的大门左边悬扁额为“圣域”二字，右边为“贤关”即圣贤所在之地，门前一眼石井，曾立有石碑一块，上刻行书“文武官员到此下马”诸字。
进门后为泮池，呈半月形，池上三桥九洞，桥下游鳞戏水，碧波盈盈。正中桥头为精雕蟠龙，封建社会时只有状元衣锦还乡才得过，乃是一种“独占鳌头”的特殊荣誉。就是两旁二桥，也只是有了“功名”的读书人才能走得一趟，称做“游泮’，还有一定的仪式，即所谓“泮水生香”。泮池建于清乾隆四十八年(公元1783年)，距今已一百九十余年。
过了泮池侧为青砂石“棂星门牌坊”三楹，高大壮观，精巧绝伦。牌坊建于清乾隆五十九年(公无1794年)，距今已历一百八十七年。石料采自渠县三江小山峡，用大船从渠江水运。当时无大型起重器械似用“垒土法”竖立而成；石条全用接榫，墨法准确，虽近两百年日晒夜露，风吹雨打，而今基本完好，没有走性。牌坊顶端是六条蟠龙，昂首朝天，奋欲入云，栩栩如生，正中刻“棂星门”三字。牌坊的石刻作品皆为镂空雕，具有很强的立体感，如“二龙戏珠”、“双凤朝阳”，“仙鹤穿云”，“五蝠归真”，“麒麟送书”、“鱼跃龙门”等图案，生动活泼，端庄和谐，曾被誉为“蜀中牌坊之首”《渠县志》载：“棂星门拣选石材美而巨，雕刻尤精，绝川中未曾有之”。民国十五年(公元1926年)，商务印书馆编辑的《东方杂志》曾载专文和图片于以介绍。
文庙建筑群落成阶梯状，工程浩大，厢房亭阁浑然一体，坐北朝南，金碧辉煌，气势雄伟。文庙主体建筑为大成殿，高峨庄严。脊顶为江西景德镇烧制的卧龙两条，殿顶纯为金黄琉璃瓦铺盖，殿堂正中原供奉孔子本主，本主上有九龙捧圣的浮雕，正中用金底红字书写“大成至圣先师孔子神位”，八卦藻井下悬挂着“万世师表”的扁额，东西两厢还供奉有“四配”、严十哲”先贤牌位。
大成殿雕花石台之下为祠的东西两原，供奉所谓“先贤”七十九人，“先儒”七十五人，东西两原为碧绿琉璃瓦铺盖，壁上浮雕文房四宝及祥云怪兽，木雕穿花，窗棂门扇，典雅庄重。
再下几级石阶就是戟门，列二十四戟(古兵器)，使人屏声息气，派显赫森严的气势。
门下有四祠：有所谓“以道为君，泽及庶民者入祀”的名宦祠，有“言行端庄者入祀”的乡贤祠，有“忠义激烈者入祀”的昭忠祠，有“节女、孝子入祀”的节孝祠，都是供奉一些封建统治阶级视为“忠、孝、节、义”的代表人物。但可惜以上四祠及戟门已在文革中毁坏了。
大成殿后还有崇圣祠(又名崇圣殿)，是供奉孔子父母、祖先的地方。
站在大成殿门首，可以下视各祠及牌坊、泮池、宫墙。抬眼望去，正面可见距文庙一百公尺开外人工堆砌而成的“珠宝山”和山上小巧玲珑的八角亭。东边可望一泻千里的蓝色渠江，西面可望龙盘虎踞的青黛色马鞍山，真有渠江山水，一望无余的气概。
建国以来，文庙几经培修，公布为渠县县级文物保护单位，并开辟为渠县人民文化宫，以作人们观赏、休息、娱乐和进行各种文化活动的场所。
