知识表示学习

知识表示学习(knowledge graph representation learning, KRL)，又称图嵌入(knowledge graph embedding, KGE), 多关系学习(multi-relation learning), 统计关系学习(statistical relational learning)，主要思想是利用实体和关系的语义信息，将实体和关系映射成低维的向量表示。它是知识图谱研究的核心也是基础。

表示空间

表示空间(representation space)指的是关系和实体将要被映射到的空间。表示学习的关键就是学习得到实体和关系的低维嵌入。现有的研究主要使用实值的point-wise空间，包括向量、矩阵和张量空间，也有使用其他类型的空间例如复杂向量空间）、高斯空间和Manifold space。

point-wise空间

  • point-wise欧式空间广泛用于实体和关系的表示，用于将关系嵌入映射到向量或矩阵空间或者捕获关系的交互信息。是使用最多的一个空间。

  • 该空间以翻译模型TransE和其变种模型TransX系列为代表，遵循h(头实体) + r(关系) ≈ t(尾实体) 的原则。

模型论文名称及出处如下所示：

  • TransE，NIPS 2013，Translating embeddings for modeling multi-relational data

  • TransH，AAAI 2014，Knowledge graph embedding by translating on hyperplanes

  • TransD，ACL 2015，Knowledge graph embedding via dynamic mapping matrix

  • TransA，arXiv 2015，An adaptive approach for knowledge graph embedding

  • TransR，AAAI 2015，Learning Entity and Relation Embeddings for Knowledge Graph Completion

复杂向量空间

  • 复杂向量空间（Complex Vector Space）不将实体和关系表示在实值的空间中，而是表示在一个复杂空间中。

  • 该空间的代表模型有ComplEx、RotatE以及QuatE。

模型论文名称及出处如下所示：

  • ComplEx，Complex Embeddings for Simple Link Predictio

  • RotatE，ICLR 2019，RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space

  • QuatE，NIPS 2019，Quaternion Knowledge Graph Embeddings

高斯空间

  • 高斯空间（Gaussian space）受高斯词嵌入启发，基于密度的嵌入模型KG2E引入了高斯分布来处理确定的/不确定的实体和关系。类似地，TransG使用高斯分布表示实体，使用混合的高斯分布表示关系嵌入。

  • 该空间的代表模型有KG2E、TransG。

模型论文名称及出处如下所示：

  • KG2E，CIKM 2015，Learning to represent knowledge graphs with gaussian embedding

  • TransG，arxiv 2015，A Generative Mixture Model for Knowledge Graph Embedding

流形空间

  • 流形空间（mainfold space）是一个拓扑空间，可以定义成具有邻域的点的集合。之前的point-wise建模是不适定的代数系统，其中计分方程的数量远远超过实体和关系的数量。即使在某些子空间的投影方法中，嵌入也受到严格的几何形式的限制。因此为处理这一问题MainfoldE将point-wise嵌入扩展成mainfold-based嵌入。

  • 该空间代表模型有ManifoldE、TorusE和DihEdral。

模型论文名称及出处如下所示：

  • ManifoldE，IJCAI 2016，From One Point to a Manifold: Knowledge Graph Embedding for Precise Link Prediction

  • TorusE，AAAI 2018，TorusE: Knowledge Graph Embedding on a Lie Group

  • DihEdral， ACL, 2019，Relation embedding with dihedral group in knowledge graph

评分函数

评分函数（scoring function）用于度量事实的可信性，在基于能量的学习框架中也称为能量函数。评分函数有两种典型类型，基于距离（如图a）和基于相似性（如图b）的函数。基于距离的评分函数通过计头尾算实体之间的距离来衡量事实的可信性，其中使用较多的是带有h(头实体) + r(关系) ≈ t(尾实体)关系的翻译。基于语义相似度的评分方法是通过语义匹配来衡量事实的可信性，通常采用乘法矩阵公式。

  • 使用基于距离的评分函数模型：TranE、TransH、TransR、TransD、TransA、KG2E、ManifoldE

  • 使用基于距离的评分函数模型：SME、DisuMult、HolE、CrossE、ANALOGY、TorusE

模型论文名称及出处如下所示：

  • SME， Machine Learning 2014， A Semantic Matching Energy Function for Learning with Multi-relational Data

  • DisuMult，ICLR 2015，Embedding entities and relations for learning and inference in knowledge bases

  • HolE，AAAI 2016，Holographic Embeddings of Knowledge Graphs

  • CrossE，WSDM 2019，Interaction Embeddings for Prediction and Explanation in Knowledge Graphs

  • ANALOGY， ICML 2017 ，Analogical Inference for Multi-relational Embeddings

编码模型

编码模型（encoding models）主要包括线性/双线性模型(Linear/Bilinear Models)、因式分解模型(Factorization Models)和神经网络(Neural Networks)，目的是对实体和关系进行编码的模型。

线性/双线性模型

  • 线性模型(Linear/Bilinear Models)通过将头部实体投射到接近尾部实体的表示空间中，将关系表示为线性/双线性映射。

  • 使用线性/双线性的方法模型：SE, SME, DistMult, ComplEx, ANALOGY。

模型论文名称及出处如下所示：

  • SE，CVPR 2018，Squeeze-and-Excitation Networks

因式分解模型

  • 因式分解模型(Factorization Models)将KRL问题建模成了3个张量的分解。目的是将关系数据分解为低秩矩阵进行表示学习。

  • 使用因式分解方法模型：RESCAL、LFM、TuckER

模型论文名称及出处如下所示：

  • RESCAL，ICML 2011，A Three-Way Model for Collective Learning on Multi-Relational Data

  • LFM，NIPS 2012，A latent factor model for highly multi-relational data

  • TuckER，Machine Learning 2019，TuckER: Tensor Factorization for Knowledge Graph Completion

神经网络模型

  • 神经网络模型用非线性神经激活函数和更复杂的网络结构来编码实体关系数据。如MLP、CNN、RNN、Transformer、GNN等网络结构，如下图。

  • 使用神经网络的方法模型：SME、ConvE、HypER、R-GCN、SACN 、KBGAT、ConvKB

模型论文名称及出处如下所示：

  • ConvE，AAAI 2018， Convolutional 2D Knowledge Graph Embeddings

  • HypER，IEEE 2014，Hyperspectral Image Classification Through Bilayer Graph-Based Learning

  • R-GCN，ESWC(CCF-C) 2018，Modeling Relational Data with Graph Convolutional Networks

  • SACN，AAAI 2019，End-to-end Structure-Aware Convolutional Networks for Knowledge Base Completion

  • KBGAT，ACL 2019，Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

  • ConvKB，NAACL 2018 ，A Novel Embedding Model for Knowledge Base Completion Based on Convolutional Neural Network

辅助信息

辅助信息（auxiliary information）为了促进更有效的知识表示，多模态嵌入将外部信息如文本描述、类型约束、关系路径和可视化信息与知识图谱本身结合在一起。

文本描述

  • KG中有文本描述的实体定义为$D = < w_{1} , w_{2} , \dots , w_{n} >$ ，作为语义信息的补充。

  • 使用文本描述的KRL任务的挑战是将结构的知识和无结构的文本信息嵌入到同一个空间中。

  • 现有研究进展：

    • Wang等人提出了两个对齐的模型，通过引入实体名字和Wikipedia的锚（anchors），来对齐实体空间和单词空间。

    • DKRL是TransE的扩展，该模型通过卷积编码器直接从实体描述中学习到了表示；

    • SSP通过将三元组和文本描述投影到一个语义子空间，建模了三元组和文本描述间的强关联。

模型论文名称及出处如下所示：

  • DKRL，AAAI 2016，DKRL: Representation Learning of Knowledge Graphs with Entity Descriptions

  • SSP，AAAI 2017，SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions

类型描述

  • 使用层级的分类或者类型来表示实体，关系也可以有不同的语义类型。

  • 现有研究进展：

    • SSE合并了实体的语义类别，在语义空间中平滑地嵌入属于同一类别的实体。

    • TKRL提出了实体投影矩阵的类型编码模型，以捕获类型层次结构。

    • KR-EAR模型注意到了一些关系暗示着实体的属性，该模型将关系类型分类成属性和关系，并建模实体描述间的关联。

    • Zhang等人使用关系簇、关系和子关系的层次关系结构，扩展了现有的嵌入方法。

模型论文名称及出处如下所示：

  • TKRL，IJCAI 2016，Representation learning of knowledge graphs with hierarchical types

​ 下载地址

​* KR-EAR，IJCAI 2016，Knowledge Representation Learning with Entities, Attributes and Relations

视觉信息

  • 视觉信息，例如实体的图片，可以丰富KRL。

  • 现有研究进展：

    • IKRL模型包含了跨媒体的基于结构和基于图片的表示，将图片编码到实体空间，并且遵循translation规则。跨媒体的表示需要保证基于结构的和基于图片的表示在同一个表示空间中。

5. 总结

  • 在提出新的KRL模型要回答以下4个问题：

    • 应该选择什么样的表示空间；

    • 如何衡量特定空间中的三元组的合理性；

    • 选择什么样的编码模型对关系交互进行建模；

    • 是否要利用辅助信息。

Previous研究方向Next知识获取

Last updated