第13章知识图谱与知识推理资料下载.pdf

第13章知识图谱与知识推理资料下载.pdf

《第13章知识图谱与知识推理资料下载.pdf》由会员分享，可在线阅读，更多相关《第13章知识图谱与知识推理资料下载.pdf（52页珍藏版）》请在冰点文库上搜索。

也称事实（fact），是最基本的知识存储方式，表现为（主语,谓词,宾语）形式TomLyonBobFRParis（Tom,BornInCity,Paris）（Tom,LivedInCity,Lyon）（Tom,Nationality,France）（Tom,ClassMates,Bob）（Paris,CityLocatedInCountry,France）（Lyon,CityLocatedInCountry,France）（Bob,BornInCity,Paris）知识图谱三元组（triple/triplet）：

也称事实（fact），是最基本的知识存储方式，表现为（主语,谓词,宾语）形式TomLyonBobFRParisBornInCity（Tom,Paris）LivedInCity（Tom,Lyon）Nationality（Tom,France）ClassMates（Tom,Bob）CityLocatedInCountry（Paris,France）CityLocatedInCountry（Lyon,France）BornInCity（Bob,Paris）谓词逻辑/一阶逻辑表达式知识图谱模式（schema）：

除三元组以外的高级知识形式实体语义类别间的从属关系（Athlete,SubclassOf,Person）（City,SubclassOf,Location）（Country,SubclassOf,Location）关系的定义域（domain）和值域（range）（AthletePlaysForTeam,Domain,Athlete）（AthletePlaysForTeam,Range,SportTeam）（CityLocatedInCountry,Domain,City）（CityLocatedInCountry,Range,Country）知识图谱知识图谱的作用知识图谱能够提供海量、有组织的知识体系，使机器语言认知、概念认知成为可能，进而为自然语言处理和理解相关任务提供技术支撑知识图谱为海量无结构数据提供了结构化的存储方式，方便计算机储存和管理信息知识图谱还能借助其图结构和海量知识，帮助学习和发现事物之间的关联规律，理解事物全貌知识图谱研究现状及应用前景国际国内学术界工业界ReadtheWebResearchProjectatCarnegieMellonUniversityHighPerformanceKnowledgeBases中国教育合作项目中国教育合作项目RepresentingandReasoningKnowledge目录13.1概述13.2知识图谱构建13.3知识图谱中的知识推理13.3.1表示学习技术13.3.2张量分解技术13.3.3路经排序算法13.4本章小结知识图谱构建几种主流构建方式基于信息抽取自动创建大众协作编辑创建专家人工创建NELL专家人工创建典型代表：

WordNetMiller,1995方法优点知识的准确性高知识的完备性高，较少出现知识缺失问题方法缺点人力和时间成本极高知识的覆盖面有限，知识图谱的规模有限知识的实时更新较难，滞后性严重大众协作编辑创建典型代表：

FreebaseBollackeretal.,2008,Wikidata方法优点知识的准确性较高知识的覆盖面广，知识图谱的规模大方法缺点人力和时间成本较高知识的完备性较差，知识缺失现象较为普遍知识的实时更新较难，滞后性严重基于信息抽取自动创建典型代表：

NELLCarlsonetal.,2010,YAGOSuchaneketal.,2007指定关系类型，通过人工标注的种子知识，自动实现关系抽取方法优点人力和时间成本较低知识的覆盖面广，知识图谱的规模大知识的实时更新较为容易方法缺点依赖众多NLP任务，错误累积问题严重，知识准确性较低知识的完备性较差，知识缺失现象较为普遍目录13.1概述13.2知识图谱构建13.3知识图谱中的知识推理13.3.1表示学习技术13.3.2张量分解技术13.3.3路经排序算法13.4本章小结知识推理知识推理（knowledgeinference）：

根据知识图谱中已有的知识，推断出新的、未知的知识TomLyonBobFRParis（Tom,BornInCity,Paris）（Tom,LivedInCity,Lyon）（Tom,Nationality,France）（Tom,ClassMates,Bob）（Paris,CityLocatedInCountry,France）（Lyon,CityLocatedInCountry,France）（Bob,BornInCity,Paris）（Bob,Nationality,France）Nationality知识推理知识推理（knowledgeinference）：

根据知识图谱中已有的知识，推断出新的、未知的知识TomLyonBobFRParis（Tom,BornInCity,Paris）（Tom,LivedInCity,Lyon）（Tom,Nationality,France）（Tom,ClassMates,Bob）（Paris,CityLocatedInCountry,France）（Lyon,CityLocatedInCountry,France）（Bob,BornInCity,Paris）（Bob,Nationality,France）Nationality提高知识的完备性，扩大知识的覆盖面知识推理方法表示学习技术TransEBordesetal.,2013,TransHWangetal.,2014,TransRLinetal.,2015张量分解技术RESCALNickeletal.,2011,TRESCALChangetal.,2014路径排序算法PRALaoandCohen,2010,CPRAWangetal.,2016目录13.1概述13.2知识图谱构建13.3知识图谱中的知识推理13.3.1表示学习技术13.3.2张量分解技术13.3.3路经排序算法13.4本章小结表示学习技术核心思想将符号化的实体和关系在连续向量空间进行表示简化操作与计算的同时最大程度保留原始的图结构基本流程将实体和关系在隐式向量空间进行表示（向量/矩阵/张量）定义打分函数，衡量每个三元组成立的可能性根据观测三元组构造优化问题，学习实体和关系的表示TransE模型位移假设（translationassumption）：

ChinaBeijing=FranceParis=Beijing+=ChinaParis+=FranceTransE实体表示：

向量关系表示：

向量位移操作：

+三元组打分：

=+1+TransE模型实体和关系的向量空间表示实体：

向量关系：

向量打分函数定义距离模型：

=+1,=+,TransE模型优化问题构造观测三元组（正例）得分,相应未观测三元组（负例）得分,排序损失：

若正负例得分差距大于给定阈值，损失为零；

否则损失大于零排序损失最小化：

正负例得分差距尽可能大min,+,+TransE模型TransE模型拓展动机：

弥补TransE在自反/多对一/一对多型关系上的不足自反型关系：

多对一型关系：

1,一对多型关系：

1,+=,+=,=+=,1,1=2=+=,1,1=2=TransH和TransR模型解决方案：

同一实体在不同关系下有不同的表示TransH：

关系专属超平面（relation-specifichyperplanes）TransR：

关系专属投影矩阵（relation-specificprojectionmatrices）TransHTransRTransH模型实体和关系的向量空间表示实体：

位移向量，超平面法向量打分函数定义头实体投影：

=尾实体投影：

=位移操作：

+距离模型：

=+1TransH模型优化问题构造观测三元组（正例）得分,相应未观测三元组（负例）得分,排序损失：

正负例得分差距尽可能大min,+,+TransR模型实体和关系的向量空间表示实体：

位移向量，投影矩阵打分函数定义头实体投影：

=+1TransR模型优化问题构造观测三元组（正例）得分,相应未观测三元组（负例）得分,排序损失：

正负例得分差距尽可能大min,+,+统一框架相同的优化方式不同的实体/关系表示方式和打分函数min,+,+目录13.1概述13.2知识图谱构建13.3知识图谱中的知识推理13.3.1表示学习技术13.3.2张量分解技术13.3.3路经排序算法13.4本章小结张量分解技术核心思想将知识图谱表示成张量（tensor）形式，通过张量分解（tensorfactorization/decomposition）实现对未知事实的判定典型应用链接预测：

判断两个实体之间是否存在某种特定关系实体分类：

判断实体所属语义类别实体解析：

识别并合并指代同一实体的不同名称RESCAL模型张量表示知识图谱=三阶张量为实体数目，为关系数目=1表示和之间存在关系张量分解RESCAL模型实体解析根据实体的向量表示计算其相似度TRESCAL模型动机：

解决输入张量高度稀疏所带来的过拟合问题：

头实体仅能为城市实体，尾实体仅能为国家实体解决方案：

子张量分解（sub-tensorfactorization）目录13.1概述13.2知识图谱构建13.3知识图谱中的知识推理13.3.1表示学习技术13.3.2张量分解技术13.3.3路经排序算法13.4本章小结路径排序算法问题定义核心思想以两个实体间的路径作为特征，来判断它们之间可能存在的关系基本流程特征抽取：

生成并选择路径特征集合特征计算：

计算每个训练样例的特征值分类器训练：

根据训练样例，为每个关系训练一个二分类分类器PRA模型核心思想：

以路径作为特征训练关系专属分类器路径：

连接两个实体的关系序列TomLyonBobFRParisPRA模型特征抽取随机游走，广度优先搜索，深度优先搜索特征计算随机游走概率，布尔值（出现/不出现），出现频次/频率分类器训练单任务学习：

为每个关系单独训练一个二分类分类器多任务学习：

将不同关系进行联合学习，同时训练它们的分类器PRA模型规则自动挖掘根据分类器权重自动挖掘并筛选可靠规则目录13.1概述13.2知识图谱构建13.3知识图谱中的知识推理13.3.1表示学习技术13.3.2张量分解技术13.3.3路经排序算法13.4本章小结知识图谱知识图谱（knowledgegraph）：

实体和关系所构成的异质、有向图，是表征实体间语义关联的语义网络TomLyonBobFRParis节点代表实体边代表不同类型的关系（异质）两个节点之间有边相连表明它们之间存在相应关系边是有向的表明关系是非对称的知识图谱构建几种主流构建方式基于信息抽取自动创建大众协作编辑创建专家人工创建NELL知识推理知识推理（knowledgeinference）：

根据知识图谱中已有的知识，推断出新的、未知的知识TomLyonBobFRParis（Tom,BornInCity,Paris）（Tom,LivedInCity,Lyon）（Tom,Nationality,France）（Tom,ClassMates,Bob）（Paris,CityLocatedInCountry,France）（Lyon,CityLocatedInCountry,France）（Bob,BornInCity,Paris）（Bob,Nationality,France）Nationality提高知识的完备性，扩大知识的覆盖面表示学习技术核心思想将符号化的实体和关系在连续向量空间进行表示简化操作与计算的同时最大程度保留原始的图结构基本流程将实体和关系在隐式向量空间进行表示（向量/矩阵/张量）定义打分函数，衡量每个三元组成立的可能性根据观测三元组构造优化问题，学习实体和关系的表示表示学习技术相同的优化方式不同的实体/关系表示方式和打分函数min,+,+张量分解技术核心思想将知识图谱表示成张量（tensor）形式，通过张量分解（tensorfactorization/decomposition）实现对未知事实的判定路径排序算法核心思想以两个实体间的路径作为特征，来判断它们之间可能存在的关系基本流程特征抽取：

生成并选择路径特征集合随机游走，广度优先搜索，深度优先搜索特征计算：

计算每个训练样例的特征值随机游走概率，布尔值（出现/不出现），出现频次/频率分类器训练：

根据训练样例，为每个关系训练一个二分类分类器单任务学习：

将不同关系进行联合学习，同时训练它们的分类器参考文献Bollackeretal.,2008K.Bollacker,C.Evans,P.Paritosh,T.Sturge,andJ.Taylor.Freebase:

Acollaborativelycreatedgraphdatabaseforstructuringhumanknowledge.InProceedingsofSIGMOD,12471250,2008.Bordesetal.,2011A.Bordes,J.Weston,R.Collobert,andY.Bengio.Learningstructuredembeddingsofknowledgebases.InProceedingsofAAAI,301306,2011.Bordesetal.,2013A.Bordes,N.Usunier,A.Garcia-Duran,J.Weston,andO.Yakhnenko.Translatingembeddingsformodelingmulti-relationaldata.InProceedingsofNIPS,27872795,2013.Bordesetal.,2014A.Bordes,X.Glorot,J.Weston,andY.Bengio.Asemanticmatchingenergyfunctionforlearningwithmulti-relationaldata.MACHLEARN,94

（2）:

233259,2014.Carlsonetal.,2010A.Carlson,J.Betteridge,B.Kisiel,B.Settles,E.R.Hruschka,andT.M.Mitchell.Towardanarchitecturefornever-endinglanguagelearning.InProceedingsofAAAI,13061313,2010.Changetal.,2014K.W.Chang,W.T.Yih,B.Yang,andC.Meek.Typedtensordecompositionofknowledgebasesforrelationextraction.InProceedingsofEMNLP,15681579,2014.LaoandCohen,2010N.Lao,W.W.Cohen.Relationalretrievalusingacombinationofpath-constrainedrandomwalks.MachineLearning,81

（1）:

53-67,2010.Linetal.,2015Y.Lin,Z.Liu,M.Sun,Y.Liu,andX.Zhu.Learningentityandrelationembeddingsforknowledgegraphcompletion.InProceedingsofAAAI,21812187,2015.参考文献Miller,1995G.A.Miller.Wordnet:

AlexicaldatabaseforEnglish.CommunicationsoftheACM,38（11）:

3941,1995.Nickeletal.,2011M.Nickel,V.Tresp,andH.P.Kriegel.Athree-waymodelforcollectivelearningonmulti-relationaldata.InProceedingsofICML,809816,2011.Suchaneketal.,2007F.M.Suchanek,G.Kasneci,andG.Weikum.Yago:

Acoreofsemanticknowledge.InProceedingsofWWW,2007.Wangetal.,2014Z.Wang,J.Zhang,J.Feng,andZ.Chen.Knowledgegraphembeddingbytranslatingonhyperplanes.InProceedingsofAAAI,11121119,2014.Wangetal.,2016Q.Wang,J.Liu,Y.Luo,B.Wang,andC.Y.Lin.Knowledgebasecompletionviacoupledpathranking.InProceedingsofACL,13081318,2016.