1949年春，在解放战争即将取得全国胜利之际，中共中央考虑在新中国成立之后建立统一的科学院作为全国最高科学机构。当年6月，科学院的筹建工作开始，中央决定由中央宣传部部长陆定一负责，由有自然科学背景的中共老党员恽子强、丁瓒协助工作。北平研究院的钱三强与中央研究院的黄宗甄参与了筹建工作。9月上旬，关于科学院的筹建方案《建立人民科学院草案》形成，该草案勾画了科学院的基本框架。
9月27日，中国人民政治协商会议第一届全体会议一致通过《中华人民共和国中央人民政府组织法》。在政务院下设“科学院”，行使管理全国科学研究事业的政府行政职能。10月19日，郭沫若被任命为科学院院长。10月25日，政务院第二次会议决定将科学院定名为“中国科学院”。10月31日，中央人民政府主席毛泽东签署政府令，向郭沫若颁发了中科院印信。
1949年11月1日，中国科学院在北京开始办公，标志着新中国第一个国家科学院的诞生。中科院的办公地点几经辗转，于1970年7月迁往三里河路52号至今。如今，中国科学院拥有12个分院、100多家科研院所、3所大学（与上海市共建上海科技大学）、130多个国家级重点实验室和工程中心，270多个野外观测台站，集科研院所、学部、教育机构为一体，建立了完整的自然科学学科体系，已成为不可替代的国家战略科技力量。