
陈华钧
知识图谱的发展历史源远流长,从经典人工智能的核心命题——知识工程,到互联网时代的语义Web,再到当下很多领域构建的数千亿级别的现代知识图谱。知识图谱兼具人工智能、大数据和互联网的多重技术基因,是知识表示、表示学习、自然语言处理、图数据库和图计算等多个领域技术的综合集成。本书全面覆盖了知识图谱的表示、存储、获取、推理、融合、问答和分析等七大方面,一百多个基础知识点的内容,同时囊括多模态知识图谱、知识图谱与图神经网络的融合、本体表示学习、事理知识图谱,以及知识增强的语言预训练模型等新热点、新发展。作为一本导论性质的书,本书希望帮助初学者梳理知识图谱的基本知识点和关键技术要素,也希望帮助技术决策者建立知识图谱的整体视图和系统工程观,为前沿科研人员拓展创新视野和研究方向。本书在技术广度和深度上兼具极强的参考性,适合高等院校的计算机专业师生阅读,也可供计算机相关行业的管理者和研发人员参考。
知识图谱的实现方法 一、知识获取:从多源数据中提取"知识原子" 知识获取是构建知识图谱的第一步,目标是从各种来源的数据中提取出实体、关系和属性,形成三元组。这是知识图谱的"原料采集"阶段,其核心挑战在于处理数据的极端异构性。 1. 结构化与半结构化数据转换 结构化数据转换主要包括直接映射和定制化ETL两种方法。直接映射使用类似RDB2RDF(如D2RQ)的技术,适用于数据库模式与目标本体结构高度相似的情况,追求快速启动。然而,这种方法无法处理复杂的语义转换,数据库中的外键在图谱中可能对应多种语义关系,需要人工定义映射规则。 定制化ETL是当前业界最主流和成熟的方式,包含完整的处理流程:数据抽取→模式对齐→数据转换→实体连接→加载入图。在这个过程中,实体解析技术至关重要,它能在数据加载前识别并合并来自同一数据源、指向现实世界同一对象的重复记录。同时,语义标注为字段赋予明确的语义类型,将数据库中的普通字段转化为具有丰富语义的知识图谱关系。 2. 非结构化数据信息抽取 这是知识图谱丰富性和智能性的核心来源,也是技术难度最高的部分,旨在从纯文本、图片、视频中提取知识。 命名实体识别经历了显著的技术演进:从基于规则/词典的方法(准确率高但召回率低),到基于统计机器学习的方法(如条件随机场),再到当前主流的深度学习方法(使用BiLSTM-CRF、BERT等模型),以及最新的大语言模型方法,通过少样本/零样本提示学习,极大降低了冷启动成本。 关系抽取方法包括传统的流水线方法(先做NER,再对实体对进行关系分类,但存在误差传递问题),效果更好的联合抽取方法(使用一个模型同时抽取实体和关系),以及大语言模型赋能的新范式,通过设计合适的提示词,可以高效、准确地完成端到端的关系抽取任务。 事件抽取作为更高级的IE任务,从文本中抽取出事件触发词、事件类型、参与角色等,形成结构化的事件知识。这让知识图谱从描述"静态是什么"扩展到描述"动态发生了什么",是实现动态"世界模型"的关键。 二、知识表示与存储:知识大厦的"设计图"与"地基" 提取出的知识需要以一种计算机可处理和查询的模式进行存储,这个环节决定了知识图谱的查询效率和应用上限。 1. 知识表示模型的哲学与实践之辩 属性图模型秉持实用主义哲学,优先考虑查询性能、开发效率和直观性。其优势在于属性原生支持(节点和边都可以携带丰富的属性)、索引友好(对属性的查询可以通过索引极大优化)以及生态强大(与主流图计算、图算法库结合紧密)。然而,它缺乏严格的语义标准,不同系统间的数据交换需要转换。 RDF模型基于理性主义哲学,追求知识的精确语义、逻辑推理和全球数据互联。其优势包括标准开放(W3C标准,利于数据发布和共享)、语义丰富(支持OWL等本体语言,能够定义复杂的类、属性和约束)以及全球唯一标识(使用URI,天然支持跨知识库的链接)。但在属性表达上需要"具体化",模型相对繁琐,大规模下的查询性能挑战更大。 在选择建议上,绝大多数企业级应用、风控、推荐场景应该首选属性图,而在学术研究、开放互联、需要复杂本体推理的场景,可以考虑RDF。 2. 存储方案的深度剖析 原生图数据库是专门为存储和查询图数据而设计的数据库,成为当前知识图谱存储的首选方案。其核心优势在于"索引无关"的闪电式遍历能力。与传统数据库查询多跳关系需要大量JOIN操作不同,原生图库采用邻接列表或类似结构,每个节点都直接存储其连接边的指针,使查询朋友的朋友这样的操作成本保持在O(1)级别。 存储引擎主要分为两种类型:原生图处理引擎(如Neo4j,为图遍历从底层重新设计存储和计算引擎)和基于KVStore/GPS的引擎(如Nebula Graph、JanusGraph,利用分布式存储引擎承载图结构,扩展性极佳)。 RDF三元组库(如Virtuoso、Apache Jena Fuseki)是专门存储RDF数据的数据库,遵循语义网标准,支持SPARQL查询语言和逻辑推理。 三、知识融合:消除冲突,形成统一视图 将来自不同数据源的知识合并成一个统一、一致、干净的知识库,这是从"诸侯割据"到"天下大同"的关键过程。 1. 实体链接与知识对齐 实体链接的目标是将文本中提到的"实体指称项"链接到知识库中对应的正确实体上,这需要结合上下文计算实体指称项与知识库中候选实体的语义相似度。 知识对齐的核心流程包括候选集生成、相似度计算和对齐决策。相似度计算需要多维度融合,包括基于名称、描述、属性等的属性相似度,以及基于图嵌入的结构相似度和关系路径相似度。决策方法可以采用规则(阈值)、分类器(机器学习)或主动学习(人工介入困难案例)。 2. 数据清洗与质量构建 在矛盾解决方面,需要采用合适的策略:投票法(多数胜出)、溯源法(信任高质量数据源)或时间戳法(取最新值)。构建全链路数据血缘至关重要,需要记录每个三元组的来源、抽取方法和置信度,这是实现可解释、可追溯、可演化的知识图谱的基石。 四、知识推理:从"明察"到"秋毫"的智能飞跃 利用已有的知识,通过某种机制推断出未知的、隐含的知识,这是知识图谱智能性的集中体现。 1. 基于符号逻辑的推理 本体推理基于OWL等本体语言中定义的公理进行推理,包括层次推理(如类别继承)和一致性检测(发现矛盾)。规则推理则基于预定义的规则进行,分为前向链推理(从已有事实出发,应用规则生成新事实,用于知识物料)和后向链推理(从目标假设出发,反向验证,用于问答和验证)。 2. 基于表示学习的推理 这种推理方法的核心是将知识图谱中的实体和关系映射到低维向量空间,知识被编码在向量和运算中。代表模型包括TransE(关系向量 ≈ 尾实体向量 - 头实体向量)、DistMult、ComplEx等,特别擅长链接预测(预测图中缺失的链接)和实体分类任务。这种方法的优势在于具备软推理能力,能处理噪声、不完整数据和发现潜在关联。 3. 基于图结构的推理 图神经网络直接在图结构上进行信息传播和聚合,通过邻居节点的信息来丰富当前节点的表示,从而进行节点分类或关系预测。这种方法善于利用网络的局部和全局特征,极大地提升了推理的准确性。 五、知识演化与服务:从"静态仓库"到"活的生命体" 一个成熟的知识图谱必须是动态的,能够持续演进并为应用提供优质服务。 知识演化体系包括增量更新机制(监听数据源变化,触发增量的抽取、融合流程)、知识溯源能力(当发现知识错误时,能通过数据血缘快速定位问题源头)和生命周期管理(定义知识的有效期、置信度衰减策略)。 知识服务体系构建多层架构:查询层提供Cypher/SPARQL等图查询接口;API层封装常见的图查询模式为业务API;嵌入层将图谱向量作为特征,嵌入到更广泛的机器学习应用中。 六、总结与前瞻:神经符号融合的下一代知识图谱 知识图谱的实现方法正走向神经符号融合的关键转折点,这体现了符号主义的可解释性与连接主义的泛化能力的深度结合。 当前的技术融合趋势体现为两个重要方向:LLM as a Knowledge Partner(利用大语言模型进行高效的知识获取和零样本推理,然后将结果"锚定"到可验证的符号化知识图谱中)和Graph for LLM(知识图谱作为大语言模型的外部记忆和事实校验器,解决其幻觉、知识过时和不可控问题)。 下一代知识图谱将是一个混合系统:以符号知识为"骨架",确保结构的稳固和逻辑的可解释;以向量表示为"血肉",赋予其感知、泛化和联想的能力;同时与大模型协同,形成一个既能深度思考、又能广泛学习、还能与人自然交互的"智能有机体"。 在技术选型路径上,实现一个知识图谱通常需要:确定知识模型(根据业务需求选择属性图或RDF);选择存储引擎(对于需要复杂关联查询的场景,首选原生图数据库);构建数据处理流水线(结构化数据使用ETL工具,非结构化文本使用深度学习或大语言模型);实施融合与质量控制;最终通过图查询语言或推理引擎支持上层应用。整个实现过程是一个迭代和演进的过程,需要随着业务和数据的变化而持续更新和优化。
这本书是学习知识图谱比较好的入门书籍,满足了处女座对分类和秩序的极致追求。 如果你是零基础、想入门知识图谱,又怕太专业、太枯燥,这本书很适合你。 整本书最大的优点是从头帮你搭体系,不讲废话、不堆公式,一步步把 “什么是知识图谱、能做什么、怎么做” 讲得清清楚楚。哪怕你是文科生、不懂代码,也能看懂大半,读完会有一种 “终于串起来了” 的通透感。 作为新手,读完能学到什么? 搞懂知识图谱到底是什么 不再只停留在 “图数据库”“三元组” 这些词,而是明白: 知识图谱就是把世界用 “实体 — 关系 — 属性” 画成一张图,让 AI 像人一样理解事物之间的联系。 学会一套完整的入门流程 书里按顺序讲了最核心的 7 件事: 怎么表示知识(三元组、本体) 怎么存知识(图数据库) 怎么从文本里挖知识(实体、关系抽取) 怎么推理(从已知推未知) 怎么把多个来源的知识合并(融合) 怎么做问答机器人 怎么用在实际场景 你不用背术语,看完就知道搭一个图谱要分哪几步。 搞懂大模型和知识图谱的区别 很多人分不清 ChatGPT 这类大模型和知识图谱。 这本书用很通俗的方式讲明白: 大模型擅长 “说话、联想” 知识图谱擅长事实准确、逻辑严谨、不瞎编 现在最强的 AI,就是大模型 + 知识图谱一起用 对新手特别友好,读完你就能跟别人讲清楚两者的差别。 知道知识图谱能用来做什么 书里会讲到很多实际场景: 智能搜索、推荐、智能问答、风控、产业链分析、医疗、金融…… 你会发现:凡是需要 “准确、严谨、讲逻辑” 的 AI,几乎都离不开知识图谱。 建立全局观,不迷路 很多入门书要么太碎、要么太偏代码, 这本最大的好处是框架清晰, 读完你会知道: 自己现在学到哪、下一步该学什么、哪些是重点、哪些可以先跳过。 适合谁读?(非常直白) 想入门知识图谱,但数理、计算机基础弱的人 不想啃厚书、只想先搞懂整体框架的新手 做行业应用(比如金融、产业链、投研),想用知识图谱解决实际问题的人 不想被一堆术语绕晕,希望用大白话搞懂原理的人 简短总结 《知识图谱导论》是一本非常良心的新手入门书: 不劝退、不晦涩、不堆砌公式, 能让你从零建立完整认知, 读完不仅懂概念,还知道 “能做什么、该怎么做”。 如果你想入门知识图谱,又不知道从哪本书开始,这本可以放心读。
先验知识,康德提出的,那时候大家还在想着笛卡尔的“我思故我在”,康德对人如何认识世界提出来。先验,生而有之,所以我们给康德戴上了唯心主义的帽子。但拜托,早期的康德可是以物理和数学而出名的。其实,如果你说先验知识是某个超自然安装在我们出生时候的头脑中的,那可以说是唯心,但其实通过进化论和脑科学,我们完全可以给先验知识一个唯物的解释。知识是什么,体现在大脑里,就是脑神经的连接,而某一些神经的连接能不能像手脚一样生而有之呢,应该是可以的,通过这么多的进化,这些连接是刻在DNA里面的,就像野马生下来一会就会跑,这些都是DNA里面的东西。而这些生而有之的神经之间的连接构成的知识,就是先验知识。这个解释够唯物吧。 先验知识很大程度构建了我们对世界认知的框架,之后的后验知识,基本都是基于先验知识的基础上的。但人对一些经常的反应,会不断强化,导致一些操作,虽然是后天学习的,但也好像是先验知识一样,所以我们有时候很难清楚去区分什么是先验的,什么是后验的。所以就有另外一种区分:快和慢,先验知识肯定是快里面的,而快的,应该比先验知识更多。 什么是快,什么是慢,如果从反应时间或者需不需要想来区分,可能有点过于表面了。快和慢,是两种不同的思维模型,快这个模型是类似于先验知识,这些连接是通过不断迭代进化而来,所以我们对这个模型不了解,无法去复制;慢这个模型都是后验知识,通过逐步推理而来,我们是了解整个的推理过程的,了解这个模型的,所以我们是有可能复制的。 人工智能,大概可以分为机器学习(神经网络)和知识推理(沃森的那种)吧,大概也就对应着人的思维的快模式和慢模式。 机器学习,尤其是深度学习,是通过大量的数据不断试错迭代,这跟进化和人的不断试错类似,从而形成模型。但这个模型很难去理解,因为就如同人无法理解快模式的模型一样,机器的通过大数据量的模型也是无法解释的。而且,机器构建的模型,跟人的模型是完全不同的,这就导致了,人无法去认同机器的一些低级的错误,也很难去通过修改模型来修正这错误(容易导致过拟合),因为在人的那个快模型下,这些错误不会犯,但人们又忽略了机器能正确而人会错误的例子,因为在人的模式下觉得这类的错误是可以原谅的。双标的人类 。 而知识推理类似于人的慢模式,通过各种推理规则,由条件推导出结论。慢模式是可以复制的,所以这个模型很大程度就是一种模仿,这种人工智能是可以被人所理解的,它如果犯的错误,人是可以理解认同,并且是可以通过修改模型来规避这些错误的。 人工智能,不单单有深度学习神经网络,也有知识推理,他们各有不同的擅长领域。在一些人的快模式上,深度学习更好,比如人脸识别,语音识别等,而在一些专业领域需要慢模式的,知识推理可能更适合一些,比如文章自动生成,知识问答等。有一些领域可能是在中间的,比如开车,是快模式还是慢模式,可能都有,所以自动驾驶,是通过大量的知识来构建模式还是通过一些限制来实现(比如跟前车距离,跟路的线的距离等),或许都可以。 人的语言,或许本来是慢模式,但现在网络发展,大家的语言都已经突破了各种语法各种规范的限制,极其凌乱,大部分人说话都不经过大脑了,实际上就是语言越来越偏向快模式了,所以会有google说的,每当开掉一些语言专家,它的语言系统就上一个台阶,因为是要使用快模式,而不是慢模式。 如果我们使用深度学习来构建一个系统,那弊端就是我们要容忍一些我们无法理解的异常,当然,我们可以通过系统来过滤掉大部分,再人工审核一下剩下的那小部分。如果我们要使用知识推理来构建一个系统,弊端就是我们要一直对这个系统保持更新,并且容忍系统对于一些新的东西的无能为力。 在依赖大量数据的机器学习和依赖人工构建模型的知识推理中间,其实还有一种,就是知识图谱。或许,结合上知识图谱能够更好的构建人工智能。比如google的流感预测,有个词认为是和流感高度相关的,是“鸡汤”,而到了感恩节那天,大家吃鸡,导致这个词上升很快,从而让google做出错误的判断,认为流感上升。如果能够结合知识图谱,我们就可以看到“鸡汤”不单单和感冒相关,还和吃鸡相关,而感恩节又和吃鸡相关,从而就有感恩节和鸡汤相关的这个知识,那在感恩节到来的时候,我们可以把“鸡汤”的上升归结为感恩节,而非流感。
〔推荐 指数〕:⭐️⭐️⭐️⭐️ AI 当前的发展就是在模仿人脑,人脑能够在数字形式的隐知识到符号形式的显知识之间,构建起高效的通路,不仅可以积累知识存储,还能进行学习、分析和推理。 AI的工作方式和人脑很像:预训练就好比人脑的读书,微调就好比人脑在做题,校正对齐就好比老师批改作业,原理十分相似。 AI发展到今天,很少有人可以系统全面简要的介绍全面。在复杂的技术背景下,局部的技术方法易得,但系统的整体观缺很难构建。而《知识图谱》这是目前AI领域中,最基础和最坚实的一门子学科。 陈华均这本书基本全面覆盖了知识图谱的关键领域,包括表示、存储、获取、推理、融合、问答和分析等七大方面,并且包含了一百多个基础知识点。 书中不仅介绍了传统的知识图谱技术,还涉及了多模态知识图谱、知识图谱与图神经网络的融合、本体表示学习、事理知识图谱以及知识增强的语言预训练模型等新兴热点和发展趋势。 书中介绍的“三大件”——规则推理、神经网络推理和图推理,这些被认为是知识图谱推理机制的基础,并且书中的比喻“海、陆、空”可能帮助读者更好地理解这些概念。 此外,这本书不仅适合初学者梳理知识图谱的基本知识点和关键技术要素,也适合技术决策者建立知识图谱的整体视图和系统工程观,对于前沿科研人员来说,书中的内容有助于拓展创新视野和研究方向。我对中间的图计算部分尤为感兴趣。 综上所述,《知识图谱导论》是一本内容丰富、覆盖面广、紧跟技术发展潮流的专业书籍,对于希望深入了解知识图谱领域的读者来说,是一本值得一读的参考书。
《知识图谱导论》读后感 耗费了将近半年的时间,断断续续,我终于将这本书“啃”完了,莫名地感到一阵轻松! 选择阅读这本书,是因为今年元月DeepSeek的火爆,激起了我想要了解如何“推理”的强烈欲望,以及探索其能否应用于冶金行业的好奇心。读完之后,我觉得在冶金行业实现这一应用颇具难度。现实中,知识来源的数据模态至少有四种,分别是语言文字、视觉、结构化数据和时序数据。目前,大多数知识图谱是以语言文字为基础构建的,用于知识库查询、问答、推理和综合分析是可行的。然而,冶金工业的知识大多来源于结构化数据和时序数据。其中,结构化数据的应用已经成熟多年,而时序数据由于受到传感器、通讯、存储、数据质量(可获得性、颗粒度、稳定性)、算力和算法等因素的限制,应用推广进展缓慢,难以取得突破。 这是一本介绍知识图谱的科普书籍,相较于一般的科普书,它更为专业、更具深度。书中介绍了知识图谱的起源与发展、概念、构建方法、应用场景以及未来的发展方向。结合人类知识的形成途径,书中总结了符号表示和向量表示,并阐述了它们各自的优缺点以及融合方法。符号表示更符合人类的思维逻辑,具有可解释性,但容错性较低,无法涵盖隐性知识,规模受限且优化困难;而向量表示更契合人类的感知,类似于通过将文本中的知识以三元组(头实体、关系、尾实体)的形式提取出来,映射到向量空间(数据化编码),以每个三元组的向量关系为约束条件构建包含各种结构信息的知识图谱。虽然其解释性较差,但包含隐含的结构信息,易于大规模扩展,还可运用图神经网络深度学习手段。最为理想的方式是将两者融合,取长补短。 我最早接触知识图谱是在“天眼查”里看到的示例——马云的关联公司,其中包含参股公司、控股公司、持有股份等信息。此前,我也曾依据自己当时对知识图谱的理解,从互联网上收集信息,构建一些历史名人的家谱和人物关系图,以及我所阅读的小说和人物传记中的人物关系图,比如《基督山伯爵》《平凡的世界》等。但通过这次系统地了解知识图谱,我认识到知识图谱并非仅仅是知识的局部关联,其最终目标是构建一个世界模型。它从语言文字切入,如今正朝着李飞飞和META构建的世界模型发展,即将语言文字、视觉、听觉以及物理定律融合为多模态模型,逐步趋近真实的世界模型。该模型具备各种事务的分类和层次以及相互关系,存在各种适合推理的逻辑关系,既有确定性关系,也有更为普遍的概率分布。通过构建规模庞大的知识图谱,更易于实现长程关联和长程推理,将跨领域知识和非常规方法有机结合,实现创新和革命性突破!人类直接处理如此庞大的信息并不现实,但AI却能够高效完成。那么问题来了,AI会是人类的最后一次技术革命吗?
《知识图谱导论》|陈华钧 一句话概括 这是一本从系统工程视角介绍知识图谱全生命周期的技术导论,完整覆盖知识表示、存储查询、知识抽取、推理、融合、问答和图数据分析,并延伸到图神经网络、预训练模型与多模态知识图谱。 核心逻辑 全书围绕“如何把分散数据组织成机器可理解、可计算和可应用的知识系统”展开: 1. 用本体、实体、关系和属性定义知识结构。2. 用符号和向量两类方法表示知识。3. 选择关系数据库或图数据库存储和查询知识。4. 从文本及其他数据源中抽取实体、关系、概念和事件。5. 通过逻辑规则和表示学习推导未知知识。6. 通过本体匹配和实体对齐融合多源数据。7. 将知识图谱用于智能问答和图数据分析。8. 进一步与GNN、语言模型、多模态数据和低资源学习结合。 核心观点是:知识图谱不是一张可视化关系图,而是一套涵盖语义建模、数据治理、算法推理和业务应用的系统工程。 核心内容 1. 知识图谱连接语言、数据与知识 自然语言包含大量知识,却具有歧义、隐含和结构松散等特点。知识图谱将其中的重要对象和关系转化为结构化形式。 典型组成包括: - 实体:现实世界中的人、地点、组织、产品或事件。- 概念:对同类实体进行抽象形成的类别。- 属性:描述实体的特征。- 关系:连接不同实体或概念。- 规则和约束:规定知识怎样组织和推理。- 来源与时间:记录知识从哪里来、何时有效。 知识图谱的价值在于为数据增加语义,使不同系统能够围绕同一对象进行连接、检索、分析和推理。 2. 建设知识图谱是一项系统工程 一个知识图谱项目不能从“抓取尽可能多的数据”开始,而应先明确业务目标: - 要解决什么问题。- 哪些用户会使用。- 需要覆盖哪些领域。- 哪些知识最重要。- 更新频率是多少。- 如何评价准确性和覆盖率。- 错误会造成什么影响。 系统还需要同时考虑本体设计、数据来源、抽取方法、人工审核、存储查询、版本管理、质量监控和应用接口。 如果缺少完整工程视角,知识图谱容易停留在一次性数据展示,无法长期维护和产生业务价值。 3. 符号表示提供明确语义 传统知识表示重视概念、逻辑、规则和可解释结构。 知识图谱常使用三元组表示事实: 主体—关系—客体 例如“北京—是首都—中国”。 符号表示还包括: - RDF和RDFS。- OWL本体语言。- 类、实例和属性。- 继承与约束。- 规则系统。- 描述逻辑。 符号表示的优势是语义清晰、可查询、可验证和较易解释;缺点是建设成本较高,对不确定、模糊和大规模开放数据的适应能力有限。 4. 向量表示让知识进入机器学习 向量表示将实体和关系映射到连续空间,使语义相近或结构相似的对象在向量空间中接近。 表示学习可以支持: - 链接预测。- 实体相似度计算。- 缺失关系补全。- 实体分类。- 下游机器学习任务。- 与文本、图像和其他模态联合建模。 向量方法具有较强的泛化和计算能力,但其内部含义不如符号规则直观,也可能继承数据中的偏差和错误。 成熟的知识系统通常需要结合符号表示的可解释性与向量表示的学习能力。 5. 存储方式要匹配查询需求 知识图谱可以存储在关系数据库、三元组数据库或原生图数据库中。 关系数据库成熟稳定,适合结构相对固定的数据,但复杂关系查询往往需要多表连接。 原生图数据库把节点、边和属性作为基本结构,更适合: - 多跳关系查询。- 路径发现。- 邻居遍历。- 社交网络分析。- 关联推荐。- 风险关系识别。 选择数据库不能只看“图数据库是否新”,还应评估数据规模、写入模式、查询类型、一致性要求、运维能力和成本。 6. 知识获取把非结构化内容转成事实 知识图谱构建的重要来源是文本、表格、网页、数据库和业务记录。 主要任务包括: - 实体识别:找出文本中的人名、地名、机构、产品等。- 关系抽取:识别实体之间的关系。- 属性补全:提取或预测实体属性。- 概念抽取:形成领域中的类别体系。- 事件抽取:识别事件类型、参与者、时间和地点。- 实体链接:将文本提及映射到图谱中的真实实体。 知识抽取可以依靠规则、传统机器学习、深度学习和预训练语言模型。真实系统通常需要多种方法结合,并配合人工审核。 7. 数据质量比图谱规模更重要 自动抽取难免产生错误、重复和歧义。图谱质量需要从多个维度评估: - 准确性。- 完整性。- 一致性。- 时效性。- 唯一性。- 来源可信度。- 可追溯性。 一个拥有数十亿三元组的图谱,如果实体重复、关系混乱、数据过期,应用价值仍然有限。 质量管理应贯穿采集、抽取、融合、更新和使用全过程,而不是等图谱建完后再集中清洗。 8. 推理帮助发现隐含知识 知识图谱中的已有事实可以进一步推导出新结论。 符号推理依靠: - 逻辑规则。- 本体约束。- 类别继承。- 关系传递。- 一致性检查。 表示学习推理则根据实体和关系在向量空间中的结构,预测可能缺失的事实。 两种方法各有优势: - 符号推理较易解释,但依赖规则和完整建模。- 向量推理具有泛化能力,但结论通常带有概率性。- 混合推理有望兼顾准确性、覆盖率和解释能力。 推理结果不能自动视为事实,还需要置信度、证据来源和业务规则约束。 9. 知识融合解决多源异构问题 多个数据源可能使用不同名称、结构和概念体系描述同一对象。 知识融合分为两个主要层面: - 概念层融合:通过本体匹配统一类别、属性和关系。- 实例层融合:通过实体对齐判断不同记录是否指向同一实体。 实体对齐可能使用: - 名称和别名。- 属性相似度。- 关系结构。- 上下文信息。- 向量表示。- 人工校验。 融合不仅是“去重”,还需要处理冲突事实、来源可信度、时间变化和版本差异。 10. 知识图谱问答把自然语言转成图查询 知识图谱问答的目标,是让用户用自然语言提问,再从图谱中得到准确答案。 主要技术路线包括: - 模板匹配:根据预设句型生成查询。- 语义解析:把问题转换成结构化查询语言。- 检索排序:召回候选实体和答案,再进行排序。- 深度学习:学习问句与图谱结构之间的映射。- 混合方案:结合规则、检索、知识表示和语言模型。 问答系统需要解决实体链接、关系识别、歧义消除、多跳推理和答案解释等问题。 模板方法稳定但覆盖有限,深度模型覆盖更广,却需要更多数据,并可能出现难以解释的错误。 11. 图算法揭示知识网络结构 知识图谱本质上是一种图结构,可以使用基础图算法分析: - 节点重要性。- 最短路径。- 连通分量。- 社区结构。- 相似节点。- 关系传播。- 异常连接。 这些算法可以应用于推荐、风控、搜索、供应链、科研分析和社交网络等场景。 图算法通常依据明确结构计算,而图表示学习则通过数据训练得到潜在特征。二者结合可以同时利用显式关系和隐含模式。 12. 图神经网络融合结构与特征 GNN通过聚合邻居信息更新节点表示,使模型同时学习对象属性和关系结构。 一般过程包括: 1. 收集邻居节点或边的特征。2. 对邻居信息进行聚合。3. 与当前节点表示结合。4. 重复多层传播。5. 用于分类、预测或图级任务。 知识图谱与GNN结合后,可以用于链接预测、实体分类、推荐和关系推理。 但层数过多可能导致过度平滑,大图还面临采样、计算和存储挑战。 13. 多模态知识图谱连接文本、图像与其他数据 现实知识并不只存在于文本中,还包括图像、视频、语音、传感器和空间数据。 多模态知识图谱需要解决: - 不同模态对象的统一表示。- 图像和文本实体的对齐。- 跨模态关系抽取。- 不同信息冲突的处理。- 缺失模态的补全。- 多模态检索和问答。 它能够支持商品理解、医疗辅助、媒体分析和智能搜索,但数据标注和语义对齐成本较高。 14. 知识图谱与预训练语言模型可以互补 语言模型擅长从大规模文本中学习语言模式,但其知识隐含在参数中,可能过时、出错或难以追溯。 知识图谱具有结构清晰、可更新和可追踪的优势,但覆盖范围和语言表达能力有限。 二者结合的方向包括: - 用知识图谱增强预训练。- 在输入中加入实体和关系。- 用图谱约束生成结果。- 通过检索为模型提供最新知识。- 从语言模型中辅助抽取和补全图谱。- 对模型输出进行事实核验。 理想系统不是用知识图谱或大模型单独解决所有问题,而是让语言能力、结构知识和外部检索形成协作。 15. 事理知识图谱关注事件演化 传统知识图谱主要描述静态事实,如“谁是什么”“谁与谁有关”。 事理知识图谱进一步表示: - 事件之间的因果关系。- 先后顺序。- 条件与结果。- 发展趋势。- 可能的后续事件。- 事件参与者的变化。 它适合金融风控、舆情分析、医疗路径和公共安全等具有时间演化特征的领域。 事件关系通常具有概率性和情境依赖,因此需要比静态事实更谨慎的建模和验证。 16. 前沿技术必须回到应用价值 书中还讨论低资源学习、结构化知识预训练和区块链等方向。 这些技术是否值得采用,应根据实际问题判断: - 数据是否真的稀缺。- 是否需要多方协作和可信记录。- 结构化知识是否能提高任务效果。- 新技术是否增加过高复杂度。- 系统能否持续更新和运维。- 收益是否高于建设成本。 技术热点不等于业务需求,知识图谱项目必须围绕明确应用场景进行取舍。 本书最值得关注的核心观点 知识图谱的核心不是“图”,而是“知识的系统化治理”。 画出节点和连线并不困难,困难的是: 什么应该成为实体?关系如何定义?不同来源如何对齐?冲突如何解决?知识如何更新?答案如何追溯? 只有把语义标准、数据质量、计算模型、存储查询和应用反馈统一起来,知识图谱才能从展示工具变成真正的知识基础设施。 一段话总结 《知识图谱导论》从语言、知识工程和语义Web的历史讲起,系统介绍知识图谱的实体、关系、本体和三元组等符号表示,以及实体和关系的向量表示;随后讨论关系数据库与原生图数据库的存储查询,实体识别、关系抽取、属性补全、概念与事件抽取等知识获取技术,并进一步讲解基于逻辑规则和表示学习的推理、本体匹配与实体对齐、模板与语义解析驱动的智能问答,以及图算法、图表示学习和图神经网络。前沿部分还涵盖多模态知识图谱、知识增强语言模型、事理知识图谱、低资源学习、结构化知识预训练和区块链。全书最核心的启发是:知识图谱不是单纯的节点连线或图数据库,而是一项贯穿语义建模、数据抽取、质量治理、融合推理、持续更新和业务应用的系统工程;真正的价值来自结构化知识能否被可靠查询、解释、复用并服务实际决策。
注意本书一些章节需要读者具备一定前置知识。第2章需要读者具有数据库技术的相关基础,第3章到第8章要求读者已经了解基本的机器学习知识,并开展过一些深度学习实践。第4章要求读者已经掌握部分自然语言处理的基本知识。
就是很标准的导论,清晰完整地介绍了知识图谱的基本概念、构建过程与主流技术方案,更细节的实现部分还是要另寻他处了。 书如其名,主要讲的是知识图谱。读这本书的时候发现自己像在看一部很长很全面的综述,许是自己导论读得不多,对如此的本质并不熟悉,也可能是这本书独有的特点,总之不影响阅读。 从概念上来说,知识图谱是利用图结构记录实体间关系的数据库,依托于此,也可以实现对关系或目标实体的推理和问答。 而在实现层面,则需要考虑知识的表示、存储与查询,即数据库的结构设计;知识获取过程中的关系识别、补全、抽取;以及图谱建立后的推理、问答支持与多图谱融合扩增。 新的发展方向则又是典中典的多模态、预训练、少样本学习、区块链确权等。此外,所有与知识项表示相关的内容也都融入了表示学习的内容。 确实能帮助快速构建起对知识图谱的完整认识。
目前市面上关于知识图谱的书籍还不算很多,这本导论有配套的网络课程,对于了解整个知识图谱来说,还是挺不错的。 本书的优点在于介绍了知识图谱的主要领域的知识,详略得当,便于快速了解。相对应的,缺点在于对于一些技术细节,解释地不够细致,特别是书中引用了大量论文的插图,但是对于这些图的解释,并不是很详细。 总得来说,个人感觉相比较清华刘知远老师团队的《知识图谱与深度学习》来说,介绍的知识图谱内容更为全面,但细节没有他们写的详细。相比较王昊奋老师团队的《知识图谱:方法实际与应用》来说,更易读些。
我还是推荐阅读,因为知识架构完整。虽然许多算法看不懂,也没有代码讲解,但是就这一个有点就够了。 这本书相当于一个论文综述,那么多论文,人家研究那么多年,你轻松都学会了,怎么可能。 建议读的时候,可以一边听老师的慕课一边看书。 我感觉慕课比书还详细,慕课在老师的主页可以找到。 最后,希望老师再出一本书,讲实践。