QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering
https://arxiv.org/abs/2104.06378 https://github.com/michiyasunaga/qagnn
M Yasunaga, H Ren, A Bosselut, P Liang, J Leskovec [Stanford University]
13 April, 2021 NAACL 2021
用来自预训练语言模型(LM)和知识图谱(KG)的知识回答问题，存在两个主要挑战：给定一个QA的上下文(问题和答案选择)，需要从大型知识图谱中识别相关知识，并对QA上下文和知识图谱进行联合推理。本文提出一种新的端到端问答LM+KG模型QA-GNN，通过两个关键创新来解决以上挑战：相关性评分，用语言模型估计知识图谱节点相对于给定QA上下文的重要性，提出了对知识图谱上信息进行加权的通用框架；联合推理，将QA上下文和知识图谱连接起来形成一个联合图，成为工作图，将两个模态统一为一个图，用基于注意力的GNN模块进行推理，通过基于图的消息传递交互更新它们的表示。在CommonsenseQA和OpenBookQA数据集上对QA-GNN进行了评价，展示了它比现有语言模型和语言模型+知识图谱模型的改进，QA-GNN在某些形式的结构化推理上表现出了更高的性能(例如，正确处理问题中的否定和实体替换)。
