安吉县图书馆的前身可追溯到1931年6月孝丰县政府在孝景镇(今孝丰镇)东街开办民众教育馆内设的图书室，在建国初期孝丰安吉两县合并筹建设立了文化馆图书室1976年正式成立安吉县图书馆(当时文化，图书，博级三馆合一)，1984年5月三馆独立建制租房办公。1995年5月筹建图书馆综合楼，1997年正式投入使用，并实行计算机自动化管理，2001年增设电子阅览室，2003年开通了文化信息资源共享工程，2005年被文化部命名为公共图书馆一级馆，2010年又被文化部命名为公共图书馆一级馆。目前安吉县图书馆坐落递铺镇天目路635号，大楼占地面积600平米，使用面积为3600平米，馆内设有书记室，馆长室，办公室，流通部，采编部，地方文献部，社教培训部，图书配送中心等。

安吉县图书馆新馆已于2017年7月7日正式动工建设，预计将于2019年6月开放运营。新馆坐落于安吉县城城东区块（安吉大道南侧、创客小镇北侧、玉磬路东侧、凤凰山公园西侧）。新图书馆总建筑面积达9350平方米，总投资规模达到1.15亿元人民币，分为地上五层、地下一层，每一层都有明晰的功能布局。而且，不同于传统只限于借阅的图书馆，新馆更是一个以“人的需求”为内核的文化休闲体验综合体。敬请期待······