Google DeepMind自上周官宣成立以来倍受关注,两个AI领域的世界级研究团队,在强强联合后会为当前火热的⼤模型赛道带来怎样的变化?有人期待,也有人质疑。4月26日,前Google Brain机器学习(ML)⼯程师Brian Kihoon Lee发⽂称,“这次合作的双⽅都输了”,并且预⾔将在接下来的⼏个⽉内看到更多的项⽬被取消、合并,以及裁员。
Lee在博客⻓⽂中分析了Google Brain存在的原因,包括声望、过去的突破性发现、保持领先地位等;同时,他也犀利地表达了自己认为Google Brain存在的问题,以及对Google Brain和DeepMind合并的不乐观看法;最后,Lee对Google未来的路该怎么⾛,是否还会资助开放式研究表达了未知与期待。
这位前⾕歌ML⼯程师最初在去年年底写下了这篇⽂章,并在被解雇后作为独立的个体于近日将其发表。Lee在⽂前写道,“强制性免责声明:⽂章内容仅代表我的个⼈观点,与我的当前雇主⽆关”。
这篇⽂章最初是在2022年12月写的,当时我正在思考我⼯作的未来。我搁置了这篇⽂章,因为我不确定在受雇于Google Brain时发表这样的⽂章是否合适。但是,他们在⼀⽉份解雇了我,这使我的决定变得更加容易。
我拿到了我的赔偿⾦,上周,他们和DeepMind合并为一个新部⻔,取消了Google Brain,取⽽代之的是“Google DeepMind”。作为⼀个拥有独特视⻆和⾃由来分享它的⼈,我希望我能阐明这个团队存在的问题。
我将列出Google Brain存在的众多原因,并评估它们在当今经济条件下的持续有效性。工业研究实验室我想⾸先准确描述⼀下需要解释的悖论。
学术界的研究者⼀直⾯临着在学术界的研究⾃由与在⼯业界的⾼薪的两难选择。作为⼀个ML专家,Google会付给你丰厚的报酬来做ML研究,这并不令⼈惊讶。换来的结果通常是,你不得不从事推荐系统、⼴告优化、搜索排名等工作,而不是纯粹的研究。说白了,Google Brain拥有许多研究人员和项⽬,其中许多是直接或间接盈利的。例如,许多研究人员专注于改进优化器、架构搜索和超参数搜索。
这种研究是直接盈利的,因为它降低了计算成本,以达到⼀定的性能水平。
需要解释的是,Google Brain(与DeepMind、OpenAI、FAIR和其他公司⼀起)资助数百名ML研究人员从事纯研究,似乎只是为了研究⽽研究,同时能⽐在学术界拿到更多的报酬。例如,我的团队致力于嗅觉的机器学习。Google在做什么,资助关于嗅觉的研究?有什么好处呢?这是我想回答的问题。
大多数学者认为,Brain团队正在争取声望:“Brain正在与其他⼯业研究实验室竞争,以聘请最好的研究人员,这样他们就可以成为最负盛名的研究⼩组,这反过来⼜会帮助他们聘请最好的研究人员”。毕竟,这就是美国学术界的运作⽅式:资⾦、学⽣/博⼠后和⾸席研究员(PI)三位⼀体。
原则上,资⾦流向最有才华的PI和学⽣/博⼠后;学⽣/博⼠后去最有才华的PI和有资⾦的地⽅;PI会去他们能找到有才华的学⽣/博⼠后和资⾦的地⽅。
大学被直接激励去最⼤限度地提⾼声望,因为他们从所有研究经费中的抽成(⼤得惊⼈)。⾏业研究实验室没有相同的激励结构。与其说维持⼀个有声望的实验室可以获利,不如说是为了防止顶级研究人员叛逃⽽付出了更多代价。Uber⼈工智能实验室似乎完全是为了声望(⾃我?)⽽存在的,在Dara Khosrowshahi接替Uber创始⼈Travis Kalanick后被正式取消。
声望带来两个主要影响:在消费者领域树⽴积极的品牌形象,以及在纯研究和应⽤ML中更容易招聘。例如,⼏年前我在求职期间甚⾄没有考虑过申请Apple,因为他们没有ML的相关工作!或许Apple没有招聘ML专家的原因是他们不需要ML专家——这是一个符合Apple成⻓理念的明智决定。但如果你确实需要雇佣⼏千名ML⼯程师,那么资助少数顶级ML研究人员作为一种声望游戏是有意义的。
我相信,我的团队之所以存在,在⼀定程度上是为了⼀种声望。
Google投资纯研究的另一个明显原因是,它已经取得并将继续取得突破性发现。作为一个基本的“贡献表”,Brain团队为Google贡献了TensorFlow、TPU、显著改进的Google Translate、JAX和Transformer。这些当初只是作为纯研究的项⽬,在今天产生了巨额的利润。如果我把任何一个条件放宽,这个列表将会更⻓,比如用于医学成像的ML项⽬和AutoML等。
Brain团队随心所欲、⾃下⽽上、以研究人员为中心的文化可以说是产生这些突破的原因。由Jeff Dean来负责研究,正是因为他代表了这些理念。相反,如果由追求短期利润最⼤化和效率提升等⽬标⽽忽略⻓期投资和创新的MBAs们来控制,MBAs文化就会慢慢渗透,破坏公司的创新能力和⻓期价值,摧毁那些“下⾦蛋的鹅”。因此,最好还是让研究人员⾃由发挥,等到他们获得成果后,再让管理人员介⼊进来。
随着时间的推移,两种趋势使MBAs们获得更⼤的主动权。⾸先是经济上的原因:随着经济趋紧以及来⾃OpenAI/VC资助的AI初创公司的竞争加剧,Google认为需要对其研究投资更加负责任和有⽅向性。另一个趋势是人们对ML能力的熟悉程度增加。在ML的早期,没有人知道它能做什么,研究人员有特许制定研究愿景。
如今,思想领袖们随意地对ML如何以及在何处发挥作⽤发表意⻅,⽽MBAs们觉得这是专家意⻅的可接受“替代品”。其结果是减少了研究人员的⾃由,出现了更多⾃上⽽下的领导。
Google资助开放式研究的另一个原因,是为了保持其在ML领域的领先地位。十多年来,Google在⼤规模系统编程⽅⾯⼀直处于⾏业领先地位。
像MapReduce、Spanner和Zanzibar这样的系统,解决了业界才刚刚开始意识到的问题,可⾏的对应替代⽅案,Hadoop、CockroachDB、AuthZed,则花了5-10年的时间才出现。当Google开源TensorFlow时,很明显,他们依然站在⾏业顶端。这种早期的成功表明,Google将能够通过慷慨地资助⻓期研究来保持领先于其竞争对手的地位。
不幸的是,这种早期的领先优势在短短⼏年内便失去了,PyTorch/Nvidia GPU轻松超越了TensorFlow/Google TPU。坦率地说,ML过去是、现在仍然是新⽣事物,没有明显的技术⻔槛。AI公司持续获得令人瞠⽬结⾆的资⾦,ML研究人员的数量在过去⼗年中增⻓了约25%。在相对较短的2年内,我为了融⼊Brain团队,⾃学了⾜够多的ML,其他许多人也是如此。
没有公司,即使是Google,能有⾜够的钱填满⽆底洞。
Brain团队的⼀个不同寻常之处在于它的⾃由出版政策——Brain在顶级ML会议上发表的⽂章常常超过所有⾼校。既然在开放式研究中投⼊了⼤量资⾦,为什么要免费赠送呢?主要原因是:1)声望;2)研究人员在辞职时可以带⾛这些知识;3)加速⼀个领域的发展。催化剂理论是,通过发表与Google核⼼业务相关领域的关键研究,来帮助Google更好地发展。
例如,Google⼀直对更好的NLP感兴趣,2014年的seq2seq和2017年的Transformers等重点研究的发表推动了整个NLP领域的发展。
最好的防御是更好的进攻,但拥有⼀批稳定的技术专家能够帮助⾃身快速了解和应对该领域的意外发展,这当然没有坏处。形势好时,专家可以专注于原创性研究,形势不好时,专家会被被要求做⼀些防御性项⽬。
这看起来很合理,虽然这样做的⻛险是届时⽆法保证专家们是否真的会留下来。为了避免这样的事情发⽣,他们也可以选择将专家辞退。撇开讽刺不谈,Google解雇我并没有错;事实上,我在5个⽉前就开始写这篇⽂章,这在当时是一个强烈的信号:我应该寻找新的⼯作。
Brain团队的许多开放式研究项⽬本质上都是跨学科的。
如前所述,我的团队致力于嗅觉ML,⽽Brain也在ML的医学成像、气象建模、神经元成像、DNA变体调⽤、⾳乐和艺术、蛋⽩质注释以及我可能错过的更多⽅⾯取得了开创性进展。Brain团队之外,也有很多成功案例,如AlphaGo和AlphaFold。毫无疑问,这些跨学科的努力已经取得了丰硕的成果。然而,两种相互抵消的趋势降低了Google继续资助这些努力的意愿。⾸先是有关研究人员的问题。
没有什么⽐物理学家第⼀次接触⼀个新领域更烦⼈的了。另一个⽅⾯,没有什么⽐领域专家学习物理(本文为ML)更超然(transcendental)了。由于博⼠项⽬的漫⻓时间线,早期大多数机器学习研究人员都是⾃学成才,从其他领域跨越过来的。这为优秀的跨学科⼯作创造了条件。
Google⾼管显然认为DeepMind品牌⽐Brain品牌更强⼤,或者Demis拒绝签署合并,除⾮保留DeepMind名称;此次合并可能是更大重组的前奏;合作双⽅都输了。
我预计在接下来的⼏个⽉⾥会看到许多项⽬取消、项⽬合并和⼈员重新分配,以及⼈员减员;由于要进⾏的项⽬越来越少,我预计会看到很多中层管理人员被裁员或离职;由于DeepMind⾃上⽽下的文化与Brain⾃下⽽上的文化相互冲突,我预计会有很多动荡。动荡将使任何合并效率收益降⾄零,甚至低于零。
尽管Brain通过其对开放式ML研究的早期资助创造了巨大的价值,但Google越来越明显地意识到,它不知道如何捕捉这种价值。Google当然没有义务资助开放式研究,但如果它不在投资,这对研究人员和全世界来说,都是悲伤的⼀天。在许多消费者和商业产品⽅⾯,Google已经是一个后来者,似乎在ML研究⽅⾯也是如此。我希望Google⾄少在获得第二名⽅⾯表现得不错。在机器学习领域有很多的获胜者。