本论文关注于通用目的关系抽取，使用Bert进行关系表示，并且提出了Matching the blanks预训练任务。论文模型在多个数据集上达到了SOTA的结果，并且在小样本的情况下提升明显。通用目的的关系抽取器，即能够对任意关系建模的关系抽取器，是信息抽取研究中的愿景。论文使用Bert来对文本关系进行表示，并且提出了Matching the blanks的方法来预训练任务不可知的关系抽取模型。
论文的模型在Few-shot关系抽取的数据集FewRel上达到了SOTA的结果，并超过了数据集给定的人类水平，并且在有监督的关系抽取数据集SemEval 2010 Task8、KBP37、TACRED上也达到了SOTA的效果。
论文的贡献主要有两个：测试了Bert的不同的输入方式和输出方式对关系抽取结果的影响；提出了关系抽取预训练任务Matching the blanks，在少样本关系抽取任务上效果提升明显。
首先考虑Bert的输入方式，即如何在输入中指定两个实体的位置，论文中提出了三种方法：STANDARD：标准输入，不指定实体位置；POSITIONAL EMB：位置嵌入，Bert的输入本来就有segment embedding，这里把实体1和实体2所在的token的segment type置为1和2；ENTITY MARKER：实体标记，在实体1和实体2的两侧用特殊标记标记实体位置。
对于输出方式，即如何从Bert最后一层的输出得到关系表示，论文中也提出了三种方法：[CLS]：用[CLS] token的表示作为关系表示；MENTION POOL：分别对两个实体对应token的表示作max pooling，然后拼接得到关系表示；ENTITY START：两个实体开始位置特殊标记token的表示，拼接起来作为关系表示。
论文模型使用Bert Large的参数进行初始化，在Matching the blanks任务上预训练后，再在具体的关系抽取任务上进行fine-tune。在Matching the blanks任务上预训练的Bert模型要优于原来的Bert模型，并且在三个有监督的关系抽取数据集上达到了SOTA的结果。
Matching the blanks预训练使得模型需要更少的标注样例进行fine-tune，更适用于少样本或少资源的场景。