中国科学院与水利水电系统有着长期的联系，还共建过一个水工研究室，但是时过境迁，这段往事似乎不为外人所知了。1949年之后，我国水利事业发展迅速，对水利科学研究提出了日益迫切的需求。1955年夏，中科院技术科学部决定成立水工研究室，学部副主任赵飞克代表学部委托该部学部委员、清华大学水利系教授、我国著名水工结构专家张光斗与清华大学合作，着手筹备水工研究室。
院党组书记张稼夫嘱咐张光斗，中科院对水利基础性研究很重视，要努力作出成绩。同时，中科院还决定与华南水利学院水文系合作，于1957年另行筹建水文研究室。
技术科学部经多次研究，决定筹备中的水工研究室暂用清华水利系实验室。中科院党组派长征老干部杨家德任水工室支部书记。1955年8月，张光斗从清华大学、华东水院、武汉水院和天津大学选拔10名当年应届毕业生。后来水工室办公地点迁出清华水利馆，搬入清华园新林院一座二层小楼，即中科院数学研究所的旧址。当时清华大学教授吴仲华主持的中科院动力研究室也在那座小楼内办公。
1956年初，中科院水工研究室正式成立，张光斗为主任。研究室积极邀请留学回国人员担任专业骨干，留美学者钱宁、林秉南、肖天铎、杨秀英、冯启德、朱可善等多位博士陆续回国受聘，不久后，留苏学者丁联臻、张有实、黄俊、朱忠德等也相继加入。研究室又从1956年、1957年大学应届毕业生中陆续选拔了30余人，形成了一支实力雄厚的科研队伍。
按照水利基础性研究机构的定位，研究室下设三个组：泥沙组，夏震寰教授任组长，钱宁博士任副组长；水力学组，张任教授任组长，林秉南博士任副组长；水工结构组，张光斗教授任组长。水工研究室成立后，即开始筹划办公室和实验室的选址，技术科学部和水工室的科研人员对此意见不一。学部认为应建在中关村，离清华大学较近，便于合作；科研人员主张建在紫竹院，面积大，环境好，实则希望远离清华大学，保持其独立性。
水工室还进行了泥沙试验厅、变坡泥沙试验水槽、高速水流活动陡槽等实验室设计。积极开展了科技人员的专业培训，选送留苏人员去深造，外派年轻的技术人员参加国内清华大学工程力学研究班等，并在内部组织开设“泥沙工程学”“理论水动力学”和“工程数学”学习班，还经常聘请外单位专家教授前来讲学。此外，招收了第一批研究生，翻译了大批美苏先进研究成果。中国水利学会下辖《水利学报》的第1期也由水工室主办。
可见水工室一成立即成就斐然。中科院技术科学部严济慈主任提出是否可将水工室升级为水工研究所，室主任张光斗则认为等建了办公室和实验室后再改所较好。1956年1月，国家开始编制“十二年科学技术远景发展规划”，水利方面提出了“水工建筑物的设计与施工”和“水资源和流域规划”两个研究任务，强调要理论联系实际，要增建实验室，要重视原型观测等。
当时来华协助水利科学规划工作的苏联专家格立兴和格里博士建议在中科院设立水利科学所，加快开展水利科学研究。因此，中科院计划在水工研究室的基础上，于1957年在北京扩大建立水利研究所，专攻水利科学基本理论，以及关键性科学问题、各生产部门的共性问题的研究。
水利研究所拟设泥沙、水力学、水工三个研究室，并在第二个五年计划内逐渐增设径流调节、地基、仪器和情报四个研究室，1957年全所大学毕业生以上研究人员达到285人。中科院还要求水利研究所与产业部门和高等院校，通过科学研究协调委员会密切开展分工协作。不料，1958年国务院各部调整，水利部和电力部合并成立了水利电力部。
水利部门有人提出，仅在北京就有中科院水工研究室、水利部水利科学研究院和电力部水电科学研究院，机构重复，应趁成立水利电力部之机，将三个单位合并，由中科院、水利电力部双重管理。水利电力部副部长冯仲云和中科院副秘书长武衡均同意这个意见。
对此，水工室主任张光斗向两位领导再三强调，行业基础性研究很重要，水工研究室从事水利基础性研究，与生产部门科研机构结合生产任务进行技术开发和生产性试验有很大区别，应予以保留。钱宁、林秉南等研究人员也不赞成合并，向中科院院领导屡次反映意见。
1958年，中国科学院水工研究室与水利部北京水利科学研究院、和电力工业部水电科学研究院先后合并，成立中国科学院、水利电力部水利水电科学研究院，成为中国最早建立的面向全国的水利水电综合科研机构。中科院水工研究室的科研人员和实验设备悉数并入该院。尽管木已成舟，张有实、丁联臻副博士与钱宁、林秉南、萧天铎仍联名上书党中央，请求保留水工研究室，但还是没有奏效。
截止到被合并前，水工研究室除了原有三个研究室外，已增设水文组，华东水利学院刘光文教授任组长，办公室和实验室尚未建立，而水利研究所的筹备工作也被迫中止。水工研究室从1955年夏开始筹建，到1958年春与水利部北京水利科研院合并，仅仅存在了二年多。1969年，中国科学院、水利电力部水利水电科学研究院解散，1978年4月恢复重建。
尽管长期保留着水电部和中科院双重领导的名义，但毕竟以部为主，与中科院联系并不多。