问答知识图谱还缺少什么信息？

作者信息

Elesdspline
目前从事NLP与知识图谱相关工作。

导读

    这两天看到了一篇文章，和我最近的一些思考契合，分享给大家。

    知识图谱的数据一般来自于结构化数据或者采用信息抽取等技术挖掘非结构化文本数据构建而来，实体之间通过关系链接，能够很好的表达结构性知识。但是我们细想一下是不是缺少了点什么？通过相关技术抽取文本中的实体并将实体通过某种关系链接，确实能够简单干练的表达文本的干货信息，去除很多文本中的噪音数据，但是上下文信息呢，能够在结构化知识中表达或者包含嘛？显然是很难的。

    今天给大家分享的文章内容就是在知识图谱的基础之上融合实体之间的上下文语意信息，文章来自于 Microsoft Cognitive Services Research Group。

一、背景知识

    常识推理(Commonsense Reasoning)在近些年变的越来越重要，已经逐步成为自然语言理解中一个非常重要的任务。

    自18年 BERT 问世，以及后续的 BERT 相关变种，已经在自然语言理解任务中大放异彩，被多次证明非常有效，然而与结构化数据相比，文本表示在知识推理却效果有限。比如下图中的这句话，要想在预训练模型中学到这句话的内在语意，需要多个包含蒙娜丽莎和卢浮宫的文本，而在结构化知识中，两个实体之间存在 的关系，可以直接用于推理问答。所以出现了很多更聪明的预训练模型(预训练模型 + 知识图谱)，比如 ERNIE、K-BERT、knowBERT、KEPLER-A等。

Fig 1

    虽然知识图谱中具有结构化信息，能够描述实体之间的关系，但是同一个实体可能存在多个关系链接不同的实体，比如 ，存在多个实体连接，即使这样，我们或许很难识别出 是一幅画，因此，需要额外的信息来引导定义 是一幅画(如下图)，并将这部分信息加入到预训练语言模型中一起学习，让模型学习到这部分的知识。

Fig 2

    本篇文章的出发点就是在预训练模型中融合知识图谱实体的上下文信息，取名为 DEKCOR: DEscriptive Knowledge for COmmonsense Reasoning.

1. 采用的知识图谱为 。
2. 实体的上下文信息来自 。
3. 预训练语言模型采用 。

二、模型结构

    常识问答的目标：对于给定的问题 ，以及给定的候选答案 , ,  ,  ,从候选答案中选择正确的答案。

    模型的整体结构图如下，主要包含三部分。

Fig 3

1、知识检索

    本文采用的知识图谱为 ，对于给定的 和 ，从图谱中获取与其相关的关系三元组，这里有两种情况：

• 一种情况是两个实体(, )均在图谱中，且有关系直接链接，那么直接取这个三元组(,  ,  )。
• 另外一种就是两个实体(, ) 没有关系直连。在图谱中找到 个包含实体 的三元组，通过相关公式计算出每个三元组的得分，最终取得分最高的三元组。

2、上下文信息

 本文利用 在线词典获取实体的相关概念信息，比如 。

3、推理

    获取到相关的特征信息后，将问题、候选答案、实体描述信息以及三元组信息均作为 的输入信息，格式如下图。推理的时候在模型的最终输出层利用 权重加权以及 层获取每一个问答对的相关分数。

Fig 6

三、效果

• 实验上面做的也是很充分，实验评测的数据集采用的是 ，具体数据量如下表。

训练	开发	测试
9,741	1,221	1,140

• 实验对比将很多 top 模型作为 baseline，并在单个模型和集成模型上面均进行了对比，实验效果取得了 state-of-the-art，较之前最好模型分别提升了1.2% 和 3.8%。

  

• 两个有趣的发现

• 一个是预训练语言模型在常识问答上面的质量排序：BERT < RoBERTa < XLNet < Albert < T5。

• 外部信息起到了很关键的作用，RoBERTa+KEDGN 相比于 RoBERTa 提升1.9%，DEKCOR 相比于 ALbert 提升6.8%。

• 模型	效果(%)	提升(%)
  RoBERTa	72.5	---
  RoBERTa+KEDGN	74.4	1.9
  Albert	76.5	---
  DEKCOR	83.3	6.8

总结

    本文在原有结构信息的基础之上融合实体的上下文信息，能够丰富知识图谱中的结构化知识，让预训练语言模型更上一层楼，在常识推理任务中取得了很好的效果。

参考资料

1. Xu Y, Zhu C, Xu R, et al. Fusing Context Into Knowledge Graph for Commonsense Reasoning[J]. arXiv preprint arXiv:2012.04808, 2020.