深度学习三巨头图灵奖得主Yoshua Bengio在ICLR 2020上以第一作者身份发表了一篇论文：A Meta-Transfer Objective for Learning to Disentangle Causal Mechanisms，这篇论文被接受为Poster。提出利用元学习目标，最大限度地提高改变分布的迁移速度，以学习如何模块化获取知识。
论文审稿人认为这篇文章包含了新颖有趣的观点，并且解决了审稿人对文章清晰度、参考文献和实验的一些其他问题。因此，它对ICLR做出了有价值的贡献。
我们提出利用元学习目标，最大限度地提高改变分布的迁移速度，以学习如何模块化获取知识。特别是，我们关注如何在与因果关系一致的情况下将联合分布纳入适当的条件。我们解释如果这可行，假设分布的变化是局部化的。
我们证明，在这种假定的因果机制的局部变化的情况下，正确的因果图将趋向于仅有几个具有非零梯度的参数，即需要调整的参数。实验观察到这会导致自适应更快，并利用这一性质来定义一个元学习替代评分，它除了连续的图参数化外，还将有利于正确的因果图。
用于训练我们的模型的数据通常被假定为独立同分布的。同样，模型的性能通常使用来自同一分布的测试样本来评估，假设它们代表了所学习的系统的使用情况。虽然从统计的角度对这些假设进行了很好的分析，但在许多实际应用中它们很少能得到满足。理想情况下，我们希望我们的模型能够很好地生成，并且能够快速地适应分布外的数据。
我们首先对合成数据进行验证，即当在对真实的双变量因果图进行一定的干预后，当提供样本数据时，正确地捕捉底层因果结构的模型适应速度更快。这表明，适应速度确实可以作为分数来评估learner是否适合潜在的因果图。然后，我们使用因果图的平滑参数以一种端到端的方式直接优化这个分数。最后，我们在一个简单的设置中表明，在未知的混合变量的情况下，可以利用分数来区分正确的因果变量。
虽然本文的重点是因果图，但提出的目标是由一个更普遍的问题所驱动的，即发现潜在的因果变量及其依赖关系，以解释学习者的环境，并使学习者有可能在由于自我或他人的干预而产生的变化下做出适当的计划。底层解释性变量的发现有不同的名称，尤其是底层变量分离的概念，并在因果设定研究和领域适应中被研究。本文也与元学习相关，到贝叶斯结构学习，因果发现，以及非平稳性如何使因果发现更容易。有关工作的详细讨论见附录A。
我们已经确定，在非常简单的双变量设置中，学习者适应观测数据分布的稀疏变化的速度可以用来推断因果结构，并解开因果变量。这依赖于一个假设，即有了正确的因果结构，这些分布上的变化是局部的。我们通过理论结果和实验验证来证明这些观点。
这项工作只是基于对修正分布适应速度的因果结构学习方向上的第一步。
在实验方面，除了这些研究之外，还需要考虑许多其他设置，包括不同种类的参数化、更丰富和更大的因果图，或不同种类的优化过程。此外，还需要做更多的工作，以探索如何使用提出的想法，以学习良好的表示，其中的因果变量是解开。将这些思想整理出来，就可以应用于改进学习代理处理非平稳的方法，从而提高这些代理的样本复杂度和健壮性。
一种关于解缠的极端观点是，解释变量应该是略微独立的，并且许多深层生成模型和独立成分分析模型建立在这个假设之上。然而，我们用自然语言操作的高级变量并不是完全独立的: 它们通过通常用句子表达的语句相互关联，一次只涉及几个概念。这种假设被提出是为了帮助从原始的观察中发现相关的高层次表征，如先验意识，其观点是人类在任何特定时间都只关注我们意识中出现的少数概念。
在这里提出的工作可以提供一个有趣的元学习方法，以帮助学习这样的编码器输出的因果变量，以及找出如何得出的变量之间的相互关系。