中科院学部成立于1955年6月1日，是国家在科学技术方面最高咨询机构，负责对国家科技发展规划、计划和重大科学技术决策提供咨询，对国家经济建设和社会发展中的重大科学技术问题提出研究报告，对学科发展战略和中长期目标提出建议，对重要研究领域和研究机构的学术问题进行评议和指导。1954年1月28日，周恩来总理主持政务院第204次政务会议，决定建立中国科学院学部和实行学部委员制度。
中国科学院组织全国科技、教育、产业界的学者、专家，并会同有关部门推荐遴选了首批委员人选，经国务院全体会议第10次会议审议批准，233名优秀科学家为中国科学院首批学位委员，其中物理学数学化学部48人，生物学地学部84人，技术科学部40人，哲学社会科学部61人。
1955年6月初，中国科学院学部成立大会在京召开，设置物理学数学化学部、生物学地学部、技术科学部和哲学社会科学部，各学部的主要任务是：根据国家建设的需要和科学发展的规律，制定科学工作发展的长远计划和目前计划；组织全国的科学力量，充分运用和发挥各单位的特长，将分散的力量集中起来，用以解决国家建设的重要任务。
学部成立之后，根据国家建设的需要和国际科学发展的趋势，组织召开许多全国性的学术会议，评定科学奖金，尤其是在制定十二年科学发展远景规划中发挥了重要作用。