5月29日，Science刊登了一篇标题为“人工智能某些领域的核心进展一直停滞不前”的文章，在文章里，作者Matthew Hutson提到：一些多年之前的“老算法”如果经过微调，其性能足以匹敌当前的SOTA。
另外，作者在文章中还列举了一些论文，这些论文对当前关键的AI建模技术进行了分析，所有的分析结果主要有两种：1、研究员声称的核心创新只是对原算法的微改进；2、新技术与多年前的旧算法在性能上相差不大。
具体到技术层面，论文对比分析的AI建模方法包括：神经网络剪枝、神经网络推荐算法、深度度量学习、对抗性训练、语言模型。科研有风险，入坑需谨慎。下面，AI科技评论简要介绍这几篇论文，为大家提供避坑指南。
神经网络剪枝：评价指标模糊。对神经网络剪枝技术进行对比分析的论文是“What is the State of Neural Network Pruning?”，论文一作是来自麻省理工的研究员Davis Blalock。他们通过对比81相关篇论文，并在对照条件下对数百个模型进行修剪后，明显发现神经网络剪枝这一领域并没有标准化的基准和指标。
神经网络推荐算法：18种算法无一幸免。
对神经网络推荐算法进行分析的论文是“Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches”，作者是来自意大利米兰理工大学的研究员。在论文中，作者对当前排名靠前的几种推荐算法进行了系统分析，发现近几年顶会中提出的18种算法，只有7种能够合理的复现。
深度度量学习：该领域13年来并无进展。对深度度量学习进行分析的文章来自Facebook AI和Cornell Tech的研究人员，他们发表研究论文预览文稿标题为“A Metric Learning Reality Check”。
在论文中，研究员声称近十三年深度度量学习（deep metric learning）领域的目前研究进展和十三年前的基线方法(Contrastive, Triplet)比较并无实质提高。
对抗性训练：所有改进都可通过“提前停止”实现。对“对抗性训练”进行研究的论文标题是“Overfitting in adversarially robust deep learning”，第一作者是来自卡内基梅陇大学的研究员Leslie Rice。在论文中，作者提到机器学习算法的进步可以来自架构、损失函数、优化策略等的改变，对这三个因素中的任何一个进行微调都能够改变算法的性能。
语言模型：LSTM仍然一枝独秀。对语言翻译进行研究的论文名为“On the State of the Art of Evaluation in Neural Language Models”，此论文是DeepMind和牛津大学合力完成。在论文中，作者提到神经网络架构的不断创新，为语言建模基准提供了稳定的最新成果。