国家科学院是近代科学革命的引擎。虽然早在17世纪康熙皇帝就听说过法国科学院，但过了200多年，中国才建立自己的国家科学院——中央研究院。国家对科学事业支持不足，国立科研机构迟迟没有建立起来，是中国近现代科学落后的重要原因之一。传说中的“格物穷理院”国家科学院是随着近代科学的兴起和发展而出现的，对近现代科学的发展起着重要的推动作用，不少科学史专家甚至称之为近代科学革命的引擎。
17世纪后半叶，英国成立了皇家学会（1660年），法国建立了皇家科学院（1666年）。它们代表着两种不同的模式，前者根植于研究者的个人兴趣，自主性较强；后者更像是法国公务服务系统的一个分支，获得国家的赞助因而深受国家的影响。随后欧洲大陆出现的普鲁士科学院、圣彼得堡科学院等都是仿效法国科学院建立起来的，都对所在国的科学事业起到了至关重要的作用。当近代科学在西方兴起之际，西方科学也开始传入中国。
法国皇家科学院建立后不久，法王路易十四派遣张诚、白晋等五位传教士到中国传教并进行科学活动，他们被委任为法国科学院的通讯员。有记载表明，白晋等人曾向康熙帝介绍法国科学院，当时称之为“格物穷理院”。据说康熙帝有意建立皇家科学院，然而他授意在畅春园成立的蒙养斋算学馆并不是研究机构，只是一个编撰御制书籍的临时场所。后来雍正朝的八旗官学虽有算学一门，乾隆朝还有国子监算学，但都不是近代意义的研究机构。
纸上的“考文苑”和“中央学会”鸦片战争之后，中国国门大开，西方科学再次进入中国。然而清政府并没有采取有力的措施发展科学技术。清末虽然翻译了一些科技书籍，建立了几所专门技术学堂，1904～1905年还废除了科举制度，将科学教育纳入国民教育体系，但终清之世，中国都没有一所自己的科研机构。中华民国建立后，有识之士痛感国家的落后缘于科学落后，呼吁国家支持科学事业，建立国家科学院。
民国元年，著名教育家马相伯就倡议仿效法兰西学院建立“函夏考文苑”。他还开列了19人的“苑士”名单，数学家华蘅芳是其中唯一的科学家，然而那时候华氏去世都已10年，马相伯却不知道。可见那时中国并没有什么科学家，这个计划不过是纸上谈兵而已。同年，中华民国教育部颁布法令，筹划设立国家最高学术研究中心“中央学会”，以“研究学术、增进文化”为宗旨，但只筹备了一年就被废止了。
国家科学院的最终建立“五四”运动前后，一批欧美学成归国的留学生归国，我国大学的科学专业教学水平迅速提高。随着北伐成功，南北统一，我国的国家科学院终于得以建立起来。1923年2月，国会议员黄素攻提出了建立专门进行自然科学研究的“国立科学院”的议案。1924年冬，孙中山曾提议成立全国最高学术机构——中央学术院。由于政局未稳、孙中山去世等原因，以上提议都没有实现。
直到北伐战争期间，很偶然的原因，我国的国家科学院才开始正式筹备。1927年4月17日，即蒋介石的南京国民政府成立前一日，国民党召开中央政治会议，李石曾在会议结束前突然提议建立中央研究院，蔡元培等人附议。蒋介石为了酬谢蔡、李等元老对他发动清党的鼎力支持，赞成这一议案立即通过。中研院最初的名称是“中华民国大学院中央研究院”。但在筹备的过程中更名为“国立中央研究院”。
1928年6月9日，中研院在上海召开第一次院务会议，正式宣告成立，蔡元培任创院院长。1949年之前，中研院先后建立有天文、气象、物理、化学、工学、地质、历史语言、社会、心理、动物、植物、数学、医学（筹）等研究所。
1929年9月9日，李石曾任院长的北平研究院成立，隶属于教育部。该院先后设有物理学、化学、动物学、植物学、生理学、史学、地质学、镭学（后改为原子学）、药物等研究所。
在中研院、平研院成立后，一批国立、私立大学也建立起一批研究所。同时私立的科研机构也逐步发展起来。从此，中国才开始有以研究为职业的现代科学家。到抗战爆发前，科教事业经过所谓“黄金十年”的发展，奠定了中国现代科学事业的基础。
1949年，国民党政权从大陆撤退时，中研院的绝大部分和整个北平研究院都留了下来。中华人民共和国的国家科学院——中国科学院主要是以这两个机构为基础重新组建而来的。中国科学院的成立，是中国现代科学事业进入了新时代的重要标志。