定义生成（DG）| 一种细颗粒度对比学习方法

  最近，基于Transformer的预训练模型在定义生成（DG）任务中取得了巨大成功。但目前编码器-解码器模型缺乏有效的表示学习来包含给定单词的完整语义，这导致Under-spcified问题。为此本文提出一种细颗粒度对比学习方法，与几种最先进的模型方法相比，生成的定义更全面。

背景介绍

 当读者在阅读文本时发现一些不熟悉的表达方式时，机器可以提供帮助。定义生成 (DG) 的任务旨在根据周围的上下文（本地上下文）为给定的单词或短语（目标）生成文本定义。除了帮助读者理解表达外，DG 的任务还有助于在构建词典时生成定义。

 最近，预训练的编码器-解码器模型在这项任务上取得了巨大的成功。尽管取得了成功，但这些预训练模型产生的定义通常包含几种类型的错误（Under-spcified、Over-specified、Self-reference、Wrong part-of-speech、Opposite）。其中：「“under-specific problem”是生成的定义符合一般语义但丢失目标词某些部分含义的最常见错误」。 如表上表所示，T5 模型产生的定义不够具体，因为它在上下文“吃了双份”的情况下忽略了“double”一词还有great的含义。under-specific问题损害了生成定义的准确性，进而限制了定义生成技术在许多场景中的应用。

 「这个问题部分归因于解码器无法从单词编码中完全提取语义信息」。对于预训练的编码器-解码器模型，他们专注于在预训练阶段恢复和去噪整个文本，而不是学习单个单词或短语的细粒度语义表示。换句话说，预训练的编码器-解码器模型在捕获给定单词的丰富语义信息方面是无效的，从而导致under-specific问题。

 为了解决预训练的定义生成模型的under-specific问题，「我们从对比学习方法中获得启发，并提出了一种基于对比目标设定的定义生成方法」。从概念上讲，定义生成就是将目标词的编码转换为文本解释。为此，目标词的编码和解码可以看作是针对同一语义的两种表达方式。「本文想法是利用定义生成模型中的两种表示，使得它们彼此对齐，以捕获细粒度的语义。具体地说，我们将目标词表示和定义表示视为正对，并将它们输入到一个对比学习目标中」。

模型方法

 本文提出了使用对比学习的方法来增强目标词的表示，以生成定义，具体地说，我们「首先制定定义生成任务并引入外延。然后提供了基于T5的定义生成处理的初步描述。最后解释了如何在训练过程中应用对比损耗来解决under-specific问题，提高生成质量」。下图为本文方法流程图。 其中，实箭头表示最大似然估计学习的数据流，虚线箭头表示对比学习的数据流。雪图标代表一阶段训练，其中模型从头开始训练，具有对比和生成损失。火图标代表两阶段训练，在第一阶段模型仅通过生成损失进行微调，然后在第二阶段将对比损失和生成损失一起应用。

实验结果

 为了验证本文方法在解决under-specific问题上的有效性，我们在三个公开可用的数据集（WordNet、Oxford、Urban）上进行实验。

 1、下表4显示了三个数据集上每个比较模型的自动比较结果。本文提出的T5-Contrast方法在三个数据集的几乎所有指标上都显著优于其他5个模型。 2、人工评估结果表明，与其他预先训练的模型相比，本文方法产生的定义更加准确、流畅和细粒度。

推荐阅读

[1]NeurIPS 2022|拯救“中国相声”!预训练模型（PLMs）应用新场景？（含源码）

[2]AACL2022|“讲好中国故事 ! 一种基于数据增强的中文故事生成框架（竟然有源码）

[3]预训练模型微调|一文带你了解Adapter Tuning

[4]预训练模型微调|一文了解预训练模型 Prompt 调优

论文&&源码

Paper：https://arxiv.org/pdf/2210.00543.pdf

点击下方链接🔗关注我们

「每日原创着实不易，麻烦点个再看」