1949年11月1日，中国科学院正式成立。中科院成立之初，并未沿用原中央研究院的院士制度以及原北平研究院的会员制度。1950年8月1日，中科院公布《中国科学院各种学科专门委员会聘任暂行办法》，确定专门委员有科学院学术顾问性质，为名誉职务，由院长聘任。专门委员会最初有212位成员，到1953年初成员达253人。
但是由于专门委员会没有形成委员会组织，难以发挥应有的作用，因此从1953年开始，中科院便开始酝酿学部委员制度。为了学习苏联科学工作的先进经验，1953年2月，中科院派出了以钱三强为团长的代表团，开始了对苏联为期3个月的访问。代表团了解了苏联的院士制度以及通过学部和学术秘书处进行科学管理的经验。
1953年11月，中科院向中央呈送的一份报告中已经提到，应参考苏联科学工作的先进经验，中科院应分学部来领导各所工作。同时该报告提出，暂将学部分为物理数学化学部、生物学地学部、技术科学部、哲学社会科学部。1954年6月至1955年5月，中科院着手第一届学部委员的选聘工作。经过广泛征求科学家及有关部门的推荐，各方面对选聘名单进行协调与调整，最终批准聘任了233位学部委员。
1955年6月1日-10日，中科院学部成立大会在北京举行。大会确立了前述报告提议的四个学部——物理数学化学部、生物学地学部、技术科学部、哲学社会科学部，并任命了各学部的负责人：吴有训为物理数学化学部主任、竺可桢为生物学地学部主任、严济慈为技术科学部主任、郭沫若为哲学社会科学部主任。学部是中科院的重要组成部分，是国家在科学技术方面的最高咨询机构，其最高组织形式是院士大会。
它的成立是我国科学事业发展中的一件大事，标志着我国科学事业发展中的新阶段的开始。