Facebook AI提出了一种新型BERT模型，名为XLM-R，旨在面向跨语言理解。XLM-R证明了使用大规模多语言预训练的模型可以显著提高跨语言迁移任务的性能。XLM-R在技术上等同于XLM+RoBERTa，在数据上使用100种语言、2.5TB文本数进行训练。XLM-R在四个跨语言理解基准测试中取得了迄今为止最好的结果，包括跨语言的分类、序列标注和问答。
在XNLI跨语言自然语言推理数据集上的平均准确率，XLM-R高于多语言BERT(mBERT)13.8%，分别高出此前先进结果Unicoder和XLM 4.7%和5%。在Facebook最近推出的MLQA问题回答数据集上，XLM-R在平均F1得分和准确率上分别比mBERT高出12.3%和10.6%。此外，XLM-R在NER数据集的平均F1得分上，比此前最先进模型高出了2.1%。
XLM-R模型在低资源数据上的表现也显著提升，在XNLI的Swahili上，XLM-R在准确率上比mBERT高出11.8%，在XNLI的Urdu上，XLM-R在准确率上比mBERT高出9.2%。