广州少年儿童图书馆在珠江之畔的永安堂大厦（即沿江中路149号），解放前，它曾是仅次于爱群大厦的广州第二高楼。它是著名爱国侨领胡文虎在国内生产和经销“虎标”万金油等良药的主要场所。
永安堂大厦建于二十世纪三十年代，坐西向东，平面呈方形，正面和侧面均五开间，首层沿街以骑楼建筑形式跨建在人行道上，建筑面积4251平方米，东面为人口大门，明间砌圆形拱门，楼高五层，以上砌五层钟楼，外观分三级收分，最高一层为方钟面，方形四面均设钟，顶部竖旗杆，楼面外墙涂刷水洗石米可人行路面涂刷水磨石米，首层大厅铺大理石地板，大理石柱式雄浑简练。
号称“万金油大王”和“报业大王”的胡文虎（1882—1954年），出生于缅甸仰光，祖籍福建省永定县，是南洋著名的华侨企业家、报业家和慈善家。1908年继承其父胡子钦留下的一间永安堂中药铺，根据中西药理，刻苦钻研中、印、缅古方，利用西方先进的制药技术，并重金聘请医师、药剂师，将其父创制的“玉树神散”秘方改良成既能涂又能内服，携带方便的“虎标”万金泊。从走街串巷地推销到大规模全方位地宣传促销，终于使“虎标良药”曾风靡全世界。据估计，当时地球上全人类有半数以上的人们购买和使用过“虎标良药”。广州永安堂就是胡文虎在他的事业鼎盛期在广州设立的分机构。
此外，胡文虎还创立了群星灿烂的星系报业集团，旗下的中英文报纸多达16家，形成遍及全球的庞大报业网，写下了20世纪国际新闻史上引人注目的篇章。而且胡文虎一生乐善好施，慷慨大度，捐献的财物不计其数，仅为抗日贡献的钱财，英国学者说“是一个天文数字”。可见其赤子之心，爱国之切。
广州解放不久，有人诬指胡文虎为“汉奸”，广州永安堂因此被列为“敌产”，由省总工会进驻作为工会大厦。1992年10月省政府正式决定将永安堂归还胡的女儿胡仙。1995年5月31日，胡仙将永安堂捐赠给广州市政府将其作为少年儿童图书馆。在捐赠仪式中，广州市委书记高祀仁向胡仙颁发了“爱心隽永”纪念匾；并将永安堂命名为“纪念胡文虎先生广州少年儿童图书馆”。所以现在这里又成为培养造就人才的摇篮。早在1993年8月这里已是广州市重点文物保护单位，值得人们参观、学习。
