知识图谱应用

丰富的结构化知识对人工智能应用程序很有用。然而，如何将这些符号知识整合到现实世界应用的计算框架中仍然是一个挑战。知识图的应用包括两个方面：1)知识图内的应用，如链接预测和命名实体识别；2)知识图外的应用，包括关系提取和更多的下游知识感知应用，如问答和推荐系统。

语义表征学习(Language Representation Learning)

• 通过自我监督的语言模型预训练进行语言表征学习已经成为许多自然语言处理系统的重要组成部分。传统的语言建模没有利用文本语料库中频繁观察到的实体的事实知识。如何将知识整合到语言表达中，越来越受到人们的关注。

• 典型模型：KGLM、K-BERT 等

下面给出模型论文名称及出处：

• KGLM，Computation and Language 2019，Barack's Wife Hillary: Using Knowledge-Graphs for Fact-Aware Language Modeling

Barack's Wife Hillary: Using Knowledge-Graphs for Fact-Aware...arXiv.org

• K-BERT，Computation and Language 2019，K-BERT: Enabling Language Representation with Knowledge Graph

K-BERT: Enabling Language Representation with Knowledge GrapharXiv.org

问答系统(Question Answering)

• 基于知识图谱的问答（KG-QA）用知识图谱中的事实回答自然语言问题。基于神经网络的方法表示分布式语义空间中的问题和答案，有些方法还进行符号知识注入以进行常识推理。

• 现有研究进展：

  • Single-fact QA：以知识图谱为外部知识源，simple factoid QA或single-fact QA是回答一个涉及单个知识图谱事实的简单问题。

  • Dai等人：提出了一种条件聚焦神经网络，配备聚焦修剪以减少搜索空间。

  • BAMnet：使用双向注意机制对问题和知识图谱之间的双向交互进行建模。尽管深度学习技术在KG-QA中得到了广泛应用，但它们不可避免地增加了模型的复杂性。

  • Mohammed等人：通过评估有和没有神经网络的简单KG-QA，发现复杂的深度模型（如LSTM和GRU等启发式算法）达到了最先进的水平，非神经模型也获得了相当好的性能。

  • 多跳推理（Multi-hop Reasoning）：处理复杂的多跳关系需要更专门的设计才能进行多跳常识推理。结构化知识提供了信息丰富的常识，这促进了最近关于多跳推理的符号空间和语义空间之间的常识知识融合的研究。

  • Bauer等人：提出了多跳双向注意力和指针生成器（pointer-generator）解码器，用于有效的多跳推理和连贯的答案生成，利用来自ConceptNet的relational path selection和selectively-gated注意力注入的外部常识知识。

  • Variational Reasoning Network(VRN)：使用reasoning-graph嵌入进行多跳逻辑推理，同时处理主题实体识别中的不确定性。

  • KagNet：执行concept recognition以从ConceptNet构建模式图，并通过GCN、LSTM和hierarchical path-based attention学习基于路径的关系表示。

  • CogQA：结合了implicit extraction和explicit reasoning，提出了一种基于BERT和GNN的认知图模型，用于多跳QA。

• 相关论文名称：

  • CFO: Conditional focused neural question answering with large-scale knowledge bases

  • Bidirectional attentive memory networks for question answering over knowledge bases

  • Strong baselines for simple question answering over knowledge graphs with and without neural networks

  • Commonsense for generative multi-hop question answering tasksV ariational reasoning for question answering with knowledge graph

  • KagNet: Knowledge-aware graph networks for commonsense reasoning

  • Cognitive graph for multi-hop reading comprehension at scale

推荐系统

• 将知识图谱集成为外部信息，使推荐系统具备常识推理能力，具有解决稀疏问题和冷启动问题的潜力。通过注入实体、关系和属性等知识图谱的辅助信息，许多方法致力于使用基于嵌入的正则化模块以改进推荐效果。

• 现有研究进展：

  • collaborative CKE：通过平移KGE模型和堆叠自动编码器联合训练KGE、文本信息和视觉内容。 ​ * DKN：注意到时间敏感和主题敏感的新闻文章由大量密集的实体和常识组成，通过知识感知CNN模型将知识图谱与多通道word-entity-aligned文本输入相结合。但是，DKN不能以端到端的方式进行训练，因为它需要提前学习实体嵌入。

  • MKR：为了实现端到端训练，通过共享潜在特征和建模高阶项目-实体交互，将多任务知识图谱表示和推荐相关联。

  • KPRN：虽然其他工作考虑了知识图谱的关系路径和结构，但KPRN将用户和项目之间的交互视为知识图谱中的实体关系路径，并使用LSTM对路径进行偏好推断以捕获顺序依赖关系。

  • PGPR：在基于知识图谱的user-item交互上执行reinforcement policy-guided的路径推理。

  • KGAT：在entity-relation和user-item图的协作知识图谱上应用图注意力网络，通过嵌入传播和基于注意力的聚合对高阶连接进行编码。

• 相关论文名称： ​ * CKE，Collaborative knowledge base embedding for recommender systems

  • DKN，DKN: Deep knowledge-aware network for news recommendation

  • MKR，Multi-task feature learning for knowledge graph enhanced recommendation

  • KPRN，Explainable reasoning over knowledge graphs for recommendation

  • PGPR，Reinforcement knowledge graph reasoning for explainable recommendation

  • KGAT，KGA T: Knowledge graph attention network for recommendation