数学家杨乐入选为中国科学院院士时，年仅41岁，是当时最年轻的院士。但在其近40年的导师生涯中，他正式招收的研究生只有7名，加上博士后也才10名左右。这源于他对于数学未来发展方向的敏锐判断。他认为，函数值分布论曾统治数学界多年，但经过一个世纪已至强弩之末，不宜再引导青年学子投身其中。
与杨乐相交44年的丘成桐至今记得，1987年夏，已是菲尔兹奖得主的他来华访问，由时任中科院数学研究所所长杨乐接待。
临走时，由于种种意外他们到机场时只剩不到半小时，已不能办理登机手续了。杨乐只好四处协调，海关工作人员看了他的工作证后敬了一个礼激动地说：“您是杨乐！我在课本上读过您的故事！”签证官当即带上图章，与他们一起赶到登机口，在那里为丘成桐盖了海关章，完成了最后一分钟营救。丘成桐很清楚，杨乐平时很不愿意出风头，完全是为了他才这么做的。
他对杨乐的行政能力很佩服，觉得他遇到困难总是能“用最平和的方式寻求最优解”，而且对朋友极为负责。
1971年底，周恩来亲自过问中科院的工作，部分学术研究开始有所松动。但人们心有余悸，大多数人宁可给家里打打家具、装收音机也不愿意搞业务。但杨乐和张广厚不同。1972年尼克松访华后，陈省身、杨振宁等美籍华人科学家回国访问，呼吁加强基础研究的声音开始重新出现。
杨乐和张广厚隐隐约约感觉，科学总是要发挥作用的。而且他们受了十年专门教育还没有用武之地，也总有些不甘心。像他们这样的人，当时在大家眼里都属于“傻子”。
1977年6月，海曼趁在香港公事之机，自费来北京访问了杨乐和张广厚。他再次邀请他们访问欧洲，参加国际函数论会议。这一次，时移世易，他们终于得以成行。出国访问报告1978年1月由中科院外事局上报中央。
春节前夕，外事局叫杨乐和张广厚去看批示复印件，准备出国。杨乐记得，时任中共中央政治局委员、中科院院长方毅在报告上批示，让杨乐、张广厚出去可以发挥在国际上的影响，包括华国锋、邓小平在内的几乎所有政治局委员都画了圈。杨乐后来得知，他们是改革开放后以学者个人身份出国访问的首例。
1995年，时任中科院常务副院长路甬祥约见丘成桐，希望他帮助中科院筹办一个类似美国普林斯顿高等研究院那样的数学研究中心。
第二年，中国科学院晨兴数学中心成立，选址在数学所院内，由丘成桐担任学术委员会主任，杨乐担任副主任。晨兴中心每年选取六至九个重要研究专题，邀请国内外顶尖青年学者从事研究。丘成桐说，自己有很多想法，但长期不在国内，很多事情都是杨乐做的，这中间遇到过很多困难，但杨乐都挺住了。经过多年的积淀，如今晨兴中心已形成了一个顶尖的代数算术几何研究团队。
70岁后，杨乐退出了具体研究工作。他说，对纯粹数学而言，最有创造力的就是年轻时代。当年他的导师熊庆来“老马识途”，晚年的他也是这么做的。故人都先后离去。他的老师之一华罗庚1985年在日本讲学期间突发心肌梗塞离世。他的同窗和战友张广厚1987年因肝硬化英年早逝。他的老朋友王元在2021年病故。夫人黄且圆也先他离去，黄且圆是他的大学同学，其父是著名水利学家黄万里。