中国古代虽然没有近现代意义上的图书馆，但是藏书机构却早已有之。据记载，周代的藏书机构叫“藏室”。西汉的“藏书楼”有石渠阁和天禄阁。学者刘向曾对天禄阁的藏书进行校正整理。其子刘歆在父亲研究的基础上编出了第一部国家藏书目录《七略》。魏晋时代，社会动乱，但图书搜集、整理仍有推进。晋元帝时，著作郎李充造《四部目录》，确立了经、史、子、集四分法体系。
唐代，随着雕版印刷术的发明，图书进入了大发展时期，藏书机构不断扩大。北宋初年，最大的藏书机构是史馆、昭文馆和集贤院，宋太祖时藏书4万多卷。明清时期，紫禁城里的皇史宬、文渊阁等处都收藏古籍。《四库全书》编成后，清廷在全国各地修建了收藏《四库全书》的馆阁，它们和紫禁城的文渊阁合称“七阁”（文渊、文津、文源、文溯、文宗、文汇、文澜）。这一时期，私人藏书也达到高峰。
明代宁波范钦的藏书楼天一阁是现存最古老的私人藏书机构，建于嘉靖末年，原有藏书7万多卷。清代珍藏《四库全书》的几座馆阁，都是以天一阁为模板修建的。