对比学习是一种机器学习范例，将未标记的数据点相互并列，以教导模型哪些点相似，哪些点不同。 也就是说，顾名思义，样本相互对比，属于同一分布的样本在嵌入空间中被推向彼此。 相比之下，属于不同分布的那些则相互拉扯。

神经模型在关系抽取（RE）的基准任务上表现出色。但是，我们还不清楚文本中哪些信息对现有的RE模型的决策有影响，以及如何进一步提升这些模型的性能。为了解决这个问题，本文实证地分析了文本中两个主要的信息源：文本上下文和实体提及（名称）对RE的作用。本文发现，虽然上下文是预测的主要依据，但RE模型也高度依赖于实体提及中的信息，其中大多数是类型信息；以及现有的数据集可能通过实体提及暴露了一些浅层的启发式规则，从而使RE基准任务上的性能看起来很高。基于这些分析，本文提出了一种基于实体掩码对比预训练的框架，用于RE，旨在在避免对实体的死记硬背或对提及中的表面线索的利用的同时，对文本上下文和类型信息有更深入的理解。本文进行了大量的实验来支持本文的观点，并证明该框架可以在不同的RE场景下提高神经模型的有效性和鲁棒性。

通常，在典型的RE设置中，文本中有两个主要的信息来源，可能会对RE模型的关系分类有帮助：那就是文本上下文和实体提及（名称）。

文本上下文中存在一些能够表达关系事实的可解释模式。比如，在图1中，“… be founded … by …”就是一个能够表示 founded by 关系的模式。早期的RE系统把这些模式形式化成字符串模板，然后通过匹配模板来识别关系。后来的神经模型则更倾向于把这些模式编码成分布式表示，再通过比较表示来预测关系。相比于刚性的字符串模板，神经模型使用的分布式表示具有更好的泛化能力，也有更高的性能。

实体提及对于关系分类也有很多信息价值。如图1所示，可以从实体提及中获得实体的类型信息，这可以帮忙排除一些不符合逻辑的关系。另外，如果这些实体能够和知识图谱（KGs）建立链接，模型就可以利用知识图谱中的外部知识来辅助RE（Zhang等人, 2019; Peters等人, 2019）。此外，对于近期广泛使用的RE模型中的预训练语言模型，它们在预训练过程中可能已经隐含地学习了一些实体相关的知识（Petroni等人, 2019）。

本文通过大量的实验来研究RE模型依赖于两种信息源的程度。发现：

基于以上的观察结果，本文提出了一种进一步改进RE模型的方法：应该通过更好地理解上下文和利用实体类型来增强模型的能力，同时防止模型简单地记忆实体或利用提及中的有偏线索。为此，本文探索了一种针对RE的实体掩码对比预训练框架，使用Wikidata来收集可能表达相同关系的句子，并让模型通过对比服务器托管网目标来学习哪些句子在关系语义上是接近的，哪些是不接近的。在这个过程中，随机地掩盖实体提及，以避免模型被它们所影响。在不同的设置和基准数据集上展示了这种预训练框架的有效性，本文认为更好的预训练技术是朝着更好的RE的可靠方向。

本文选取以下三个模型进行实验分析：

本文使用的基准数据集是 TACRED，它是一个有监督的RE数据集，具有106,264个实例和42个关系，它还为每个实体提供类型注释。

本文使用不同的输入格式来进行RE，以便在可控的实验中观察上下文和实体提及的影响。前两种格式是以前的文献采用的，也比较接近真实的RE场景：

表1展示了不同的输入格式和模型在TACRED上的关系分类性能的详细比较。从结果中可以得出以下结论：

可以注意到CNN的结果与BERT和MTB有一些不一致：CNN在OnlyC上的性能几乎与OnlyM相同，而C+M比C+T低5%。本文认为这主要是因为CNN的编码能力较弱，不能充分利用上下文的信息，而且更容易对数据集中实体提及的浅层线索产生过拟合。

为了进一步了解不同输入格式对性能的影响，本文对TACRED数据集进行了详细的案例研究，选择了BERT作为示例，因为BERT代表了当前最先进的模型类别，而且在MTB数据集上也观察到了类似的结果。

首先，本文比较了C+M和C+T两种输入格式，发现C+M和C+T有95.7%的正确预测是一致的，而C+M的68.1%的错误预测也和C+T相同。这表明模型从实体提及中获取的大部分信息是它们的类型信息。本文还在表2中列出了一些C+M和C+T的不同错误。C+M可能受到训练集中实体分布的影响。在表2中的两个例子中，“Washington”只出现在per:stateorprovince of residence这个关系中，“Bank of America Corp.”只出现在no relation这个关系中，这种偏见可能导致模型的错误。另一方面，C+T可能在缺少具体实体提及的情况下，难以正确理解文本。如例子所示，用类型替换提及后，模型被“general assembly”误导了，无法检测出“Ruben”和“Ruben van Assouw”之间的关系。这表明实体提及除了类型之外，还提供了其他信息来帮助模型理解文本。

本文还研究了为什么OnlyC相比于C+M有如此明显的性能下降。在表3中，将OnlyC（相比于C+M）的所有独有错误预测分为三类。“Wrong”表示句子中有明显的关系模式，但被模型误解了。“No pattern”意味着在掩盖实体提及后，即使是人类也很难判断是什么关系。“Confusing”表示在掩盖实体后，句子变得模糊不清（例如，混淆城市和国家）。如表3所示，在OnlyC的独有错误预测中，有近一半（42%）的句子有明确的关系模式，但模型无法识别出来，这表明在C+M中，模型可能依赖于实体提及的浅层启发来正确预测句子。在其余的情况下，实体提及确实提供了分类的关键信息。

为了提高RE的效果，本文模型在预训练阶段就专注于从文本中学习关系和实体的表示。本文采用了对比学习的方法，通过让“邻居”之间的表示更相似，而让“非邻居”之间的表示更不同。在这里，“邻居”是指在知识图谱（KGs）中具有相同关系实体对的句子，而“非邻居”是指没有相同关系实体对的句子。

这里的知识图谱（KG）是由一些关系事实构成的。从中随机选择两个句子和，它们各自包含了两个实体和。如果有一个关系，使得和都在KG里，就把和称为“邻居”。本文用Wikidata作为KG，因为它和用来预训练的Wikipedia语料库很容易对应起来。在训练过程中，先按照KG里的关系分布来采样一个关系，然后再采样一个和有关的句子对。为了做对比学习，还要随机采样个句子，让它们和组成个负样本对。模型的任务是在所有正负样本中，找出和有相同关系的那个句子。

为了防止在预训练时过度依赖实体提及或仅提取它们的表面特征，本文用特殊符号 [BLANK] 随机替换了一些实体提及。用 表示替换的实体比例，并参考 Baldini Soares 等人 (2019) 的方法设置。注意，预训练时完全遮盖所有实体提及也不合适，因为这会导致预训练和微调之间的不一致，也会使预训练模型无法利用实体提及的信息（比如，学习实体类型）。

用一个例子来说明数据生成过程：在图 2 中，有两个句子“SpaceX was founded in 2002 by Elon Musk”和“As the co-founder of Microsoft, Bill Gates …””，其中 (SpaceX, founded by, Elon Musk) 和 (Microsoft, founded by, Bill Gates) 都是KG中的关系。本文希望这两个句子能够有相似的表示，体现出 founded by 这个关系。而对于图中右边的另外两个句子，由于它们的实体对之间没有 founded by 这个关系，它们被认为是负样本，应该与左边的句子有不同的表示。在预训练时，每个实体提及都有的概率被替换为 [BLANK]。

句子中可能没有明确地表达出实体之间的关系，或者表达出的关系与期望的不一致。比如，一个句子提到了“SpaceX”和“Elon Musk”，它们之间可能有 founded by、CEO 或 CTO 等关系，也可能没有任何关系。例如，“Elon Musk answers reporters’questions on a SpaceX press conference”这个句子就没有体现出两者之间的关系。但是，本文认为这种噪声对本文的预训练框架的影响不大：本文的目的是相比于原始的预训练模型，如 BERT，得到更适合RE的表示，而不是直接用于下游任务的关系抽取模型，所以可以容忍数据中的一些噪声。

本文的模型利用生成的关系对比例子，提高了从提及中获取类型信息和从文本上下文中理解关系语义的能力。

（1）模型通过对比两个涉及不同实体对但关系相同的句子，来识别实体提及之间的关系信息。 同时，使用实体掩码策略，避免了对实体的简单记忆，而是更多地关注实体类型信息。

（2）通过学习一组表达相同关系的不同文本上下文，提取出关系的多样化表达模式。MTB采用了更严格的规则，只采样了两个包含相同实体对的句子。这种方法虽然可以减少噪声，但也限制了数据的多样性，影响了模型学习类型信息的能力。

本文的对比式预训练使用了与 BERT相同的 Transformer 架构。用 ENC 表示 Transformer 编码器，用表示第 i 个位置的输出。对于输入格式，参考了 Baldini Soares等人(2019) 的方法，用特殊的标记来突出实体提及。例如，对于句子“SpaceX was founded by Elon Musk.”，输入序列是““[CLS][E1] SpaceX [/E1] was founded by[E2] Elon Musk [/E2] . [SEP]”。

在预训练过程中，有两个目标：对比式预训练目标和遮蔽语言建模目标。

如图 2 所示，给定正样本句子对和负样本句子对，首先用 Transformer 编码器得到在中的关系感知表示：

其中和是特殊标记 [E1] 和 [E2] 的位置，表示拼接。有了句子表示，就有了以下的训练目标：

通过优化模型使最小化，本文期望 和 的表示更加接近，最终具有相似关系的句子会有相似的表示。

为了保持从 BERT 继承的语言理解能力，并避免灾难性遗忘，本文也采用了 BERT 的遮蔽语言建模 (MLM) 目标。MLM 随机地遮蔽输入中的一些词，然后让模型预测被遮蔽的词，从而学习包含丰富语义和句法知识的上下文表示。用表示 MLM 的损失函数。

最终，有以下的训练损失：

这是RE中最广泛采用的设置，其中有一个预定义的关系集合，数据集中的每个句子都表达了中的某个关系。在一些基准测试中，有一种特殊的关系叫做或，表示句子中没有表达给定实体之间的任何关系，或者它们的关系不包含在中。对于有监督的 RE 数据集，本文使用 TACRED，SemEval-2010 Task 8 ，Wiki80和 ChemProt 。表 4 显示了数据集之间的比较。本文还添加了 1% 和 10% 的设置，意味着只使用训练集的 1% / 10% 的数据。这是为了模拟低资源的情况，并观察模型性能在不同的数据集和设置下的变化。注意，ChemProt 只有 4169 个训练实例，这导致了表 5 中 1% ChemProt 的异常结果。在附录 B 中给出了这个问题的详细说明。

对比学习是一种机器学习范例，将未标记的数据点相互并列，以教导模型哪些点相似，哪些点不同。 也就是说，顾名思义，样本相互对比，属于同一分布的样本在嵌入空间中被推向彼此。 相比之下，属于不同分布的那些则相互拉扯。

神经模型在关系抽取（RE）的基准任务上表现出色。但是，我们还不清楚文本中哪些信息对现有的RE模型的决策有影响，以及如何进一步提升这些模型的性能。为了解决这个问题，本文实证地分析了文本中两个主要的信息源：文本上下文和实体提及（名称）对RE的作用。本文发现，虽然上下文是预测的主要依据，但RE模型也高度依赖于实体提及中的信息，其中大多数是类型信息；以及现有的数据集可能通过实体提及暴露了一些浅层的启发式规则，从而使RE基准任务上的性能看起来很高。基于这些分析，本文提出了一种基于实体掩码对比预训练的框架，用于RE，旨在在避免对实体的死记硬背或对提及中的表面线索的利用的同时，对文本上下文和类型信息有更深入的理解。本文进行了大量的实验来支持本文的观点，并证明该框架可以在不同的RE场景下提高神经模型的有效性和鲁棒性。

通常，在典型的RE设置中，文本中有两个主要的信息来源，可能会对RE模型的关系分类有帮助：那就是文本上下文和实体提及（名称）。

文本上下文中存在一些能够表达关系事实的可解释模式。比如，在图1中，“… be founded … by …”就是一个能够表示 founded by 关系的模式。早期的RE系统把这些模式形式化成字符串模板，然后通过匹配模板来识别关系。后来的神经模型则更倾向于把这些模式编码成分布式表示，再通过比较表示来预测关系。相比于刚性的字符串模板，神经模型使用的分布式表示具有更好的泛化能力，也有更高的性能。

实体提及对于关系分类也有很多信息价值。如图1所示，可以从实体提及中获得实体的类型信息，这可以帮忙排除一些不符合逻辑的关系。另外，如果这些实体能够和知识图谱（KGs）建立链接，模型就可以利用知识图谱中的外部知识来辅助RE（Zhang等人, 2019; Peters等人, 2019）。此外，对于近期广泛使用的RE模型中的预训练语言模型，它们在预训练过程中可能已经隐含地学习了一些实体相关的知识（Petroni等人, 2019）。

本文通过大量的实验来研究RE模型依赖于两种信息源的程度。发现：

基于以上的观察结果，本文提出了一种进一步改进RE模型的方法：应该通过更好地理解上下文和利用实体类型来增强模型的能力，同时防止模型简单地记忆实体或利用提及中的有偏线索。为此，本文探索了一种针对RE的实体掩码对比预训练框架，使用Wikidata来收集可能表达相同关系的句子，并让模型通过对比服务器托管网目标来学习哪些句子在关系语义上是接近的，哪些是不接近的。在这个过程中，随机地掩盖实体提及，以避免模型被它们所影响。在不同的设置和基准数据集上展示了这种预训练框架的有效性，本文认为更好的预训练技术是朝着更好的RE的可靠方向。

本文选取以下三个模型进行实验分析：

本文使用的基准数据集是 TACRED，它是一个有监督的RE数据集，具有106,264个实例和42个关系，它还为每个实体提供类型注释。

本文使用不同的输入格式来进行RE，以便在可控的实验中观察上下文和实体提及的影响。前两种格式是以前的文献采用的，也比较接近真实的RE场景：

表1展示了不同的输入格式和模型在TACRED上的关系分类性能的详细比较。从结果中可以得出以下结论：

可以注意到CNN的结果与BERT和MTB有一些不一致：CNN在OnlyC上的性能几乎与OnlyM相同，而C+M比C+T低5%。本文认为这主要是因为CNN的编码能力较弱，不能充分利用上下文的信息，而且更容易对数据集中实体提及的浅层线索产生过拟合。

为了进一步了解不同输入格式对性能的影响，本文对TACRED数据集进行了详细的案例研究，选择了BERT作为示例，因为BERT代表了当前最先进的模型类别，而且在MTB数据集上也观察到了类似的结果。

首先，本文比较了C+M和C+T两种输入格式，发现C+M和C+T有95.7%的正确预测是一致的，而C+M的68.1%的错误预测也和C+T相同。这表明模型从实体提及中获取的大部分信息是它们的类型信息。本文还在表2中列出了一些C+M和C+T的不同错误。C+M可能受到训练集中实体分布的影响。在表2中的两个例子中，“Washington”只出现在per:stateorprovince of residence这个关系中，“Bank of America Corp.”只出现在no relation这个关系中，这种偏见可能导致模型的错误。另一方面，C+T可能在缺少具体实体提及的情况下，难以正确理解文本。如例子所示，用类型替换提及后，模型被“general assembly”误导了，无法检测出“Ruben”和“Ruben van Assouw”之间的关系。这表明实体提及除了类型之外，还提供了其他信息来帮助模型理解文本。

本文还研究了为什么OnlyC相比于C+M有如此明显的性能下降。在表3中，将OnlyC（相比于C+M）的所有独有错误预测分为三类。“Wrong”表示句子中有明显的关系模式，但被模型误解了。“No pattern”意味着在掩盖实体提及后，即使是人类也很难判断是什么关系。“Confusing”表示在掩盖实体后，句子变得模糊不清（例如，混淆城市和国家）。如表3所示，在OnlyC的独有错误预测中，有近一半（42%）的句子有明确的关系模式，但模型无法识别出来，这表明在C+M中，模型可能依赖于实体提及的浅层启发来正确预测句子。在其余的情况下，实体提及确实提供了分类的关键信息。

为了提高RE的效果，本文模型在预训练阶段就专注于从文本中学习关系和实体的表示。本文采用了对比学习的方法，通过让“邻居”之间的表示更相似，而让“非邻居”之间的表示更不同。在这里，“邻居”是指在知识图谱（KGs）中具有相同关系实体对的句子，而“非邻居”是指没有相同关系实体对的句子。

这里的知识图谱（KG）是由一些关系事实构成的。从中随机选择两个句子和，它们各自包含了两个实体和。如果有一个关系，使得和都在KG里，就把和称为“邻居”。本文用Wikidata作为KG，因为它和用来预训练的Wikipedia语料库很容易对应起来。在训练过程中，先按照KG里的关系分布来采样一个关系，然后再采样一个和有关的句子对。为了做对比学习，还要随机采样个句子，让它们和组成个负样本对。模型的任务是在所有正负样本中，找出和有相同关系的那个句子。

为了防止在预训练时过度依赖实体提及或仅提取它们的表面特征，本文用特殊符号 [BLANK] 随机替换了一些实体提及。用 表示替换的实体比例，并参考 Baldini Soares 等人 (2019) 的方法设置。注意，预训练时完全遮盖所有实体提及也不合适，因为这会导致预训练和微调之间的不一致，也会使预训练模型无法利用实体提及的信息（比如，学习实体类型）。

用一个例子来说明数据生成过程：在图 2 中，有两个句子“SpaceX was founded in 2002 by Elon Musk”和“As the co-founder of Microsoft, Bill Gates …””，其中 (SpaceX, founded by, Elon Musk) 和 (Microsoft, founded by, Bill Gates) 都是KG中的关系。本文希望这两个句子能够有相似的表示，体现出 founded by 这个关系。而对于图中右边的另外两个句子，由于它们的实体对之间没有 founded by 这个关系，它们被认为是负样本，应该与左边的句子有不同的表示。在预训练时，每个实体提及都有的概率被替换为 [BLANK]。

句子中可能没有明确地表达出实体之间的关系，或者表达出的关系与期望的不一致。比如，一个句子提到了“SpaceX”和“Elon Musk”，它们之间可能有 founded by、CEO 或 CTO 等关系，也可能没有任何关系。例如，“Elon Musk answers reporters’questions on a SpaceX press conference”这个句子就没有体现出两者之间的关系。但是，本文认为这种噪声对本文的预训练框架的影响不大：本文的目的是相比于原始的预训练模型，如 BERT，得到更适合RE的表示，而不是直接用于下游任务的关系抽取模型，所以可以容忍数据中的一些噪声。

本文的模型利用生成的关系对比例子，提高了从提及中获取类型信息和从文本上下文中理解关系语义的能力。

（1）模型通过对比两个涉及不同实体对但关系相同的句子，来识别实体提及之间的关系信息。 同时，使用实体掩码策略，避免了对实体的简单记忆，而是更多地关注实体类型信息。

（2）通过学习一组表达相同关系的不同文本上下文，提取出关系的多样化表达模式。MTB采用了更严格的规则，只采样了两个包含相同实体对的句子。这种方法虽然可以减少噪声，但也限制了数据的多样性，影响了模型学习类型信息的能力。

本文的对比式预训练使用了与 BERT相同的 Transformer 架构。用 ENC 表示 Transformer 编码器，用表示第 i 个位置的输出。对于输入格式，参考了 Baldini Soares等人(2019) 的方法，用特殊的标记来突出实体提及。例如，对于句子“SpaceX was founded by Elon Musk.”，输入序列是““[CLS][E1] SpaceX [/E1] was founded by[E2] Elon Musk [/E2] . [SEP]”。

在预训练过程中，有两个目标：对比式预训练目标和遮蔽语言建模目标。

如图 2 所示，给定正样本句子对和负样本句子对，首先用 Transformer 编码器得到在中的关系感知表示：

其中和是特殊标记 [E1] 和 [E2] 的位置，表示拼接。有了句子表示，就有了以下的训练目标：

通过优化模型使最小化，本文期望 和 的表示更加接近，最终具有相似关系的句子会有相似的表示。

为了保持从 BERT 继承的语言理解能力，并避免灾难性遗忘，本文也采用了 BERT 的遮蔽语言建模 (MLM) 目标。MLM 随机地遮蔽输入中的一些词，然后让模型预测被遮蔽的词，从而学习包含丰富语义和句法知识的上下文表示。用表示 MLM 的损失函数。

最终，有以下的训练损失：

这是RE中最广泛采用的设置，其中有一个预定义的关系集合，数据集中的每个句子都表达了中的某个关系。在一些基准测试中，有一种特殊的关系叫做或，表示句子中没有表达给定实体之间的任何关系，或者它们的关系不包含在中。对于有监督的 RE 数据集，本文使用 TACRED，SemEval-2010 Task 8 ，Wiki80和 ChemProt 。表 4 显示了数据集之间的比较。本文还添加了 1% 和 10% 的设置，意味着只使用训练集的 1% / 10% 的数据。这是为了模拟低资源的情况，并观察模型性能在不同的数据集和设置下的变化。注意，ChemProt 只有 4169 个训练实例，这导致了表 5 中 1% ChemProt 的异常结果。在附录 B 中给出了这个问题的详细说明。