表示学习（Representation learning），又称学习表示。在深度学习领域内，表示学习是指通过模型的参数，采用何种形式、何种方式来表示模型的输入观测样本X。
表示学习有很多种形式，比如CNN参数的有监督训练是一种有监督的表示学习形式，对自动编码器和限制玻尔兹曼机参数的无监督预训练是一种无监督的表示学习形式，对DBN参数先进行无监督预训练，再进行有监督fine-tuning是一种半监督的共享表示学习形式。
近年来，表示学习的研究在深度学习领域引起了广泛的关注，在自然语言处理中，将句子或者词表示成向量的形式已经成为了约定俗成的第一步，在计算机视觉中，使用CNN首先处理图像也被广泛认可，而网络表示学习等多个相关领域的兴起也预示着表示学习必定成为未来很长一段时间的研究热点。
1. 论文名称：Contrastive Code Representation Learning 论文链接：https://www.aminer.cn/pub/5f08445b91e01137f86677de?conf=iclr2021 简介：诸如类型预测器和代码摘要器之类的机器辅助编程工具越来越多地基于学习。但是，大多数代码表示学习方法都依赖于带有任务特定注释数据集的监督学习。
我们提出了对比代码表示学习（ContraCode），这是一种自监督算法，用于通过对比学习来学习程序的与任务无关的语义表示。我们的方法不使用人工提供的标签，而仅依靠程序的原始文本。特别是，我们通过保留语义的自动的源到源编译器转换生成源函数的文本不同副本，从而设计了无监督的前置任务。我们训练神经模型来识别大量否定词中锚定程序的变体。为了解决此任务，网络必须提取表示程序功能而不是程序形式的程序功能。
这是实例歧视在我们所知的代码表示学习中的首次应用。我们预训练了来自GitHub的超过180万种未注释JavaScript方法的模型。ContraCode预训练与监督方法相比，代码摘要准确性提高了7.9％，与RoBERTa预训练相比，提高了4.8％。而且，我们的方法与模型架构无关。对于类型推断任务，对比性预训练始终可以提高现有基线的准确性。
2. 论文名称：CO2: Consistent Contrast for Unsupervised Visual Representation Learning 论文链接：https://www.aminer.cn/pub/5f7d846a91e011346ad27cc2/?conf=iclr2021 简介：对比学习已被用作无监督视觉表示学习的核心方法。
如果没有人工注释，通常的做法是执行实例区分任务：给定查询图像裁剪，此任务将来自同一图像的裁剪标记为正，将来自其他随机采样图像的裁剪标记为负。此标签分配策略的一个重要限制是，它不能反映查询作物与来自其他图像的每种作物之间的异质相似性，将它们视为同等否定，而其中一些甚至可能与查询属于同一语义类。
为了解决这个问题，受未标记数据的半监督学习中的一致性正则化的启发，我们提出了“一致性对比（CO2）”，它在当前的对比学习框架中引入了一致性正则化术语。关于查询作物与其他图像与每个作物的相似性为“未标记”，一致性项将正作物的相应相似性作为伪标签，并鼓励这两个相似性之间的一致性。
根据经验，CO2在ImageNet线性协议上将动量对比度（MoCo）提高了2.9％top-1精度，在1％和10％标记的半监督设置下提高了3.8％和1.1％top-5精度。它还可以转移到PASCAL VOC上的图像分类，对象检测和语义分割。这表明，CO2可为这些下游任务学习更好的视觉表示。
3. 论文名称：Representation Learning for Sequence Data with Deep Autoencoding Predictive Components 论文链接：https://www.aminer.cn/pub/5f7edfb491e011a5faf0fe9b?conf=iclr2021 简介：我们提出了深度自动编码预测组件（DAPC）-一种用于序列数据的自监督表示学习方法，基于这样的直觉，即序列数据的有用表示应在潜在空间中表现出简单的结构。
我们通过最大化潜在特征序列的预测信息的估计值来鼓励这种潜在结构，这是每个时间步过去和未来窗口之间的互信息。与对比学习通常使用的互信息下界相反，我们采用的预测信息估计在高斯假设下是精确的。此外，可以在不进行负采样的情况下进行计算。为了减少功能强大的编码器提取的潜在空间的简并性，并保留输入中的有用信息，我们将预测性信息学习进行了正则化，但面临具有挑战性的蒙版重建损失。
我们证明了我们的方法可以恢复嘈杂的动力系统的潜在空间，提取用于预测任务的预测特征，并在用于对大量未标记数据进行预训练时提高自动语音识别能力。
4. 论文名称：HyperSAGE: Generalizing Inductive Representation Learning on Hypergraphs 论文链接：https://www.aminer.cn/pub/5f842a4691e01129be18ff9b?conf=iclr2021 简介：图是机器学习中使用最广泛的结构化数据表示形式。
但是，它们仅对节点之间的成对关系进行建模，并且并未设计为对许多实际数据集中的高阶关系进行编码。为了建模这种复杂的关系，已证明超图是自然的表示。学习超图中的节点表示比图中更为复杂，因为它涉及两个级别的信息传播：每个超边缘内和跨超边缘。大多数当前方法首先将超图结构转换为图，以用于现有的几何深度学习算法。这种转换会导致信息丢失，并导致超图的表达能力欠佳。
我们介绍HyperSAGE，这是一种新颖的超图学习框架，它使用两级神经信息传递策略来通过超图准确而有效地传播信息。HyperSAGE的灵活设计促进了汇总邻居信息的不同方式。与大多数相关的可转换工作不同，我们的方法是受流行的GraphSAGE方法启发而产生的。因此，它也可以在以前看不见的节点上使用，从而有利于解决诸如演变或部分观测到的超图等问题。
通过广泛的实验，我们证明了HyperSAGE在代表性基准数据集上的性能优于最新的超图学习方法。我们还证明，与替代方案相比，HyperSAGE的较高表达能力使其在学习节点表示中更稳定。
5. 论文名称：Center-wise Local Image Mixture For Contrastive Representation Learning 论文链接：https://www.aminer.cn/pub/5fa51db891e011ea3290c573?conf=iclr2021 简介：无监督表示学习的最新进展取得了显着进展，特别是在对比学习的成就方面，对比学习将每个图像及其扩充视为一个单独的类，而没有考虑图像之间的语义相似性。
本文提出了一种新的数据增强方法，称为中心方式局部图像混合，以扩展图像的邻域空间。CLIM鼓励在提取相似图像的同时进行局部相似性和全局聚合。这是通过搜索图像的局部相似样本，并仅选择更靠近相应聚类中心的图像来实现的，我们将其称为中心方向局部选择。结果，相似的表示逐渐接近群集，同时又不破坏局部相似性。此外，将图像混合用作平滑正则化以避免对所选样本过度自信。
此外，我们引入了多分辨率增强，这使表示具有比例不变性。将这两个增强功能集成在一起，可以在几个无人监督的基准上更好地表现特征。值得注意的是，通过ResNet-50进行线性评估后，我们的top-1准确性达到了75.5％，仅用1％的标签进行微调时，top-1的准确性就达到了59.3％，并且在多个下游传输任务上的性能均优于有监督的预培训。