在国立科研机构中，界定专家组织的地位和作用至关重要，不仅关系到机构的管理和领导体制，也是保障学术研究健康发展的关键要素。中国科学院的前身中央研究院设有评议会制度，被蔡元培院长等视为“百年大计”。中科院成立时，最初曾设想保留评议会，但随即决定另组科学工作委员会以替代评议会。1950年初，又决定放弃科学工作委员会，而另行聘任各种学科专门委员，对应于即将成立的院内各所。
专门委员从院内外具有较高学术水平的专家学者中选聘，具有院学术顾问和研究所学术委员的性质。但院级最高的学术评议组织仍属阙如。1950年6月下旬，负责“研究本院处长以上和各研究所助理员以上人员的聘用问题”的中国科学院临时聘用委员会宣告结束后，一些高级研究人员的升级和聘用问题遂成问题。
院计划局经过研究，建议组建中国科学院学术评审委员会，其主要职责是对院内“研究教授”一级的高级研究人员的聘用、升级等问题进行“评判”。7月12日，副院长竺可桢代表计划局在院务汇报会议上介绍了这一想法，院长郭沫若当即表示赞同通过。随后计划局起草了“中国科学院学术评审委员会暂行规程”。9月13日，郭沫若主持院行政会议通过了该规程和学术评审委员会名单，共25人。
其中，院内委员13人，包括四位副院长和院办公厅正副主任，计划局、编译局和联络局正副局长（均为各科知名专家）和范文澜等专门委员。院外委员12人中，有中国人民大学校长吴玉章，浙江大学校长马寅初，岭南大学教授陈寅恪、姜立夫，清华大学教授周培源、叶企孙、陈桢，北京大学教授曾昭抡、张景鉞，永利公司的侯德榜，协和医学院教授张锡钧，北京农业大学教授戴芳澜。
多数委员都是我国科学技术和社会科学界最知名的专家学者，规格极高，从而保证了该委员会的学术权威性。引人注目的是，社会科学委员名单中不仅有陈伯达、吴玉章、范文澜、李亚农等党员高级专家，也有陈寅恪这位著名的历史学家。1950年9月下旬，中科院向各位委员发出正式聘任通知书，院学术评审委员会正式成立。
按照学术评审委员会暂行规程，该委员会的职责是“负责评议并审查下列各事项：1. 院高级研究与技术人员（研究教授、技监、研究员、技正）的学术标准；2. 有关科学的发明和发现之奖励的学术标准；3. 其他院长交议的学术标准之事项”。学术评审委员为名誉职。学术评审委员会只负责评议正高级研究人员和院级学术奖励的学术标准等事宜；一般的学术评议和顾问，则交给各学科专门委员处理。
可见学术评审委员会是中国科学院的最高学术评审组织，具有院学术委员会的性质。遗憾的是，院学术评审委员会成立后不久，1951年初，随着院计划局的撤销，学术评审委员会即无法开展活动，事实上处于名存实亡的状态。这是由于建院初期，对科学家不能放手信任造成的。
事实上，也是由于这个缘故，各学科专门委员聘任后，并没有成立专门委员会，他们对中科院的科研和学术工作没有起到应有的顾问和评议作用，最终造成院党政领导权力过大，学术领导薄弱的问题日益显现，影响到中科院的正常发展。针对这个问题，1953年底，中科院党组决定筹建学部，以加强学术领导。一开始学部实际上是中科院分学科群的学术委员会及其办事机构的联合体。
由于种种原因，学部的性质和地位并不明确，上世纪80年代发生过两次大的转变，后来院级学术评议组织曾经长期缺失。直到2013年7月，为了发扬学术民主，促进科学决策，中国科学院正式成立了由21名知名专家组成的第一届中国科学院学术委员会。但如何从体制上保障这一类学术评议机构发挥应有的作用，仍然是当今我国一些科研机构面临的现实问题。