
陳華鈞
知識圖譜的發展歷史源遠流長,從經典人工智能的核心命題——知識工程,到互聯網時代的語義Web,再到當下很多領域構建的數千億級別的現代知識圖譜。知識圖譜兼具人工智能、大數據和互聯網的多重技術基因,是知識表示、表示學習、自然語言處理、圖數據庫和圖計算等多個領域技術的綜合集成。本書全面覆蓋了知識圖譜的表示、存儲、獲取、推理、融合、問答和分析等七大方面,一百多個基礎知識點的內容,同時囊括多模態知識圖譜、知識圖譜與圖神經網絡的融合、本體表示學習、事理知識圖譜,以及知識增強的語言預訓練模型等新熱點、新發展。作爲一本導論性質的書,本書希望幫助初學者梳理知識圖譜的基本知識點和關鍵技術要素,也希望幫助技術決策者建立知識圖譜的整體視圖和系統工程觀,爲前沿科研人員拓展創新視野和研究方向。本書在技術廣度和深度上兼具極強的參考性,適合高等院校的計算機專業師生閱讀,也可供計算機相關行業的管理者和研發人員參考。
知識圖譜的實現方法 一、知識獲取:從多源數據中提取"知識原子" 知識獲取是構建知識圖譜的第一步,目標是從各種來源的數據中提取出實體、關係和屬性,形成三元組。這是知識圖譜的"原料採集"階段,其核心挑戰在於處理數據的極端異構性。 1. 結構化與半結構化數據轉換 結構化數據轉換主要包括直接映射和定製化ETL兩種方法。直接映射使用類似RDB2RDF(如D2RQ)的技術,適用於數據庫模式與目標本體結構高度相似的情況,追求快速啓動。然而,這種方法無法處理複雜的語義轉換,數據庫中的外鍵在圖譜中可能對應多種語義關係,需要人工定義映射規則。 定製化ETL是當前業界最主流和成熟的方式,包含完整的處理流程:數據抽取→模式對齊→數據轉換→實體連接→加載入圖。在這個過程中,實體解析技術至關重要,它能在數據加載前識別併合並來自同一數據源、指向現實世界同一對象的重複記錄。同時,語義標註爲字段賦予明確的語義類型,將數據庫中的普通字段轉化爲具有豐富語義的知識圖譜關係。 2. 非結構化數據信息抽取 這是知識圖譜豐富性和智能性的核心來源,也是技術難度最高的部分,旨在從純文本、圖片、視頻中提取知識。 命名實體識別經歷了顯著的技術演進:從基於規則/詞典的方法(準確率高但召回率低),到基於統計機器學習的方法(如條件隨機場),再到當前主流的深度學習方法(使用BiLSTM-CRF、BERT等模型),以及最新的大語言模型方法,通過少樣本/零樣本提示學習,極大降低了冷啓動成本。 關係抽取方法包括傳統的流水線方法(先做NER,再對實體對進行關係分類,但存在誤差傳遞問題),效果更好的聯合抽取方法(使用一個模型同時抽取實體和關係),以及大語言模型賦能的新範式,通過設計合適的提示詞,可以高效、準確地完成端到端的關係抽取任務。 事件抽取作爲更高級的IE任務,從文本中抽取出事件觸發詞、事件類型、參與角色等,形成結構化的事件知識。這讓知識圖譜從描述"靜態是什麼"擴展到描述"動態發生了什麼",是實現動態"世界模型"的關鍵。 二、知識表示與存儲:知識大廈的"設計圖"與"地基" 提取出的知識需要以一種計算機可處理和查詢的模式進行存儲,這個環節決定了知識圖譜的查詢效率和應用上限。 1. 知識表示模型的哲學與實踐之辯 屬性圖模型秉持實用主義哲學,優先考慮查詢性能、開發效率和直觀性。其優勢在於屬性原生支持(節點和邊都可以攜帶豐富的屬性)、索引友好(對屬性的查詢可以通過索引極大優化)以及生態強大(與主流圖計算、圖算法庫結合緊密)。然而,它缺乏嚴格的語義標準,不同系統間的數據交換需要轉換。 RDF模型基於理性主義哲學,追求知識的精確語義、邏輯推理和全球數據互聯。其優勢包括標準開放(W3C標準,利於數據發佈和共享)、語義豐富(支持OWL等本體語言,能夠定義複雜的類、屬性和約束)以及全球唯一標識(使用URI,天然支持跨知識庫的鏈接)。但在屬性表達上需要"具體化",模型相對繁瑣,大規模下的查詢性能挑戰更大。 在選擇建議上,絕大多數企業級應用、風控、推薦場景應該首選屬性圖,而在學術研究、開放互聯、需要複雜本體推理的場景,可以考慮RDF。 2. 存儲方案的深度剖析 原生圖數據庫是專門爲存儲和查詢圖數據而設計的數據庫,成爲當前知識圖譜存儲的首選方案。其核心優勢在於"索引無關"的閃電式遍歷能力。與傳統數據庫查詢多跳關係需要大量JOIN操作不同,原生圖庫採用鄰接列表或類似結構,每個節點都直接存儲其連接邊的指針,使查詢朋友的朋友這樣的操作成本保持在O(1)級別。 存儲引擎主要分爲兩種類型:原生圖處理引擎(如Neo4j,爲圖遍歷從底層重新設計存儲和計算引擎)和基於KVStore/GPS的引擎(如Nebula Graph、JanusGraph,利用分佈式存儲引擎承載圖結構,擴展性極佳)。 RDF三元組庫(如Virtuoso、Apache Jena Fuseki)是專門存儲RDF數據的數據庫,遵循語義網標準,支持SPARQL查詢語言和邏輯推理。 三、知識融合:消除衝突,形成統一視圖 將來自不同數據源的知識合併成一個統一、一致、乾淨的知識庫,這是從"諸侯割據"到"天下大同"的關鍵過程。 1. 實體鏈接與知識對齊 實體鏈接的目標是將文本中提到的"實體指稱項"鏈接到知識庫中對應的正確實體上,這需要結合上下文計算實體指稱項與知識庫中候選實體的語義相似度。 知識對齊的核心流程包括候選集生成、相似度計算和對齊決策。相似度計算需要多維度融合,包括基於名稱、描述、屬性等的屬性相似度,以及基於圖嵌入的結構相似度和關係路徑相似度。決策方法可以採用規則(閾值)、分類器(機器學習)或主動學習(人工介入困難案例)。 2. 數據清洗與質量構建 在矛盾解決方面,需要採用合適的策略:投票法(多數勝出)、溯源法(信任高質量數據源)或時間戳法(取最新值)。構建全鏈路數據血緣至關重要,需要記錄每個三元組的來源、抽取方法和置信度,這是實現可解釋、可追溯、可演化的知識圖譜的基石。 四、知識推理:從"明察"到"秋毫"的智能飛躍 利用已有的知識,通過某種機制推斷出未知的、隱含的知識,這是知識圖譜智能性的集中體現。 1. 基於符號邏輯的推理 本體推理基於OWL等本體語言中定義的公理進行推理,包括層次推理(如類別繼承)和一致性檢測(發現矛盾)。規則推理則基於預定義的規則進行,分爲前向鏈推理(從已有事實出發,應用規則生成新事實,用於知識物料)和後向鏈推理(從目標假設出發,反向驗證,用於問答和驗證)。 2. 基於表示學習的推理 這種推理方法的核心是將知識圖譜中的實體和關係映射到低維向量空間,知識被編碼在向量和運算中。代表模型包括TransE(關係向量 ≈ 尾實體向量 - 頭實體向量)、DistMult、ComplEx等,特別擅長鏈接預測(預測圖中缺失的鏈接)和實體分類任務。這種方法的優勢在於具備軟推理能力,能處理噪聲、不完整數據和發現潛在關聯。 3. 基於圖結構的推理 圖神經網絡直接在圖結構上進行信息傳播和聚合,通過鄰居節點的信息來豐富當前節點的表示,從而進行節點分類或關係預測。這種方法善於利用網絡的局部和全局特徵,極大地提升了推理的準確性。 五、知識演化與服務:從"靜態倉庫"到"活的生命體" 一個成熟的知識圖譜必須是動態的,能夠持續演進併爲應用提供優質服務。 知識演化體系包括增量更新機制(監聽數據源變化,觸發增量的抽取、融合流程)、知識溯源能力(當發現知識錯誤時,能通過數據血緣快速定位問題源頭)和生命週期管理(定義知識的有效期、置信度衰減策略)。 知識服務體系構建多層架構:查詢層提供Cypher/SPARQL等圖查詢接口;API層封裝常見的圖查詢模式爲業務API;嵌入層將圖譜向量作爲特徵,嵌入到更廣泛的機器學習應用中。 六、總結與前瞻:神經符號融合的下一代知識圖譜 知識圖譜的實現方法正走向神經符號融合的關鍵轉折點,這體現了符號主義的可解釋性與連接主義的泛化能力的深度結合。 當前的技術融合趨勢體現爲兩個重要方向:LLM as a Knowledge Partner(利用大語言模型進行高效的知識獲取和零樣本推理,然後將結果"錨定"到可驗證的符號化知識圖譜中)和Graph for LLM(知識圖譜作爲大語言模型的外部記憶和事實校驗器,解決其幻覺、知識過時和不可控問題)。 下一代知識圖譜將是一個混合系統:以符號知識爲"骨架",確保結構的穩固和邏輯的可解釋;以向量表示爲"血肉",賦予其感知、泛化和聯想的能力;同時與大模型協同,形成一個既能深度思考、又能廣泛學習、還能與人自然交互的"智能有機體"。 在技術選型路徑上,實現一個知識圖譜通常需要:確定知識模型(根據業務需求選擇屬性圖或RDF);選擇存儲引擎(對於需要複雜關聯查詢的場景,首選原生圖數據庫);構建數據處理流水線(結構化數據使用ETL工具,非結構化文本使用深度學習或大語言模型);實施融合與質量控制;最終通過圖查詢語言或推理引擎支持上層應用。整個實現過程是一個迭代和演進的過程,需要隨着業務和數據的變化而持續更新和優化。
這本書是學習知識圖譜比較好的入門書籍,滿足了處女座對分類和秩序的極致追求。 如果你是零基礎、想入門知識圖譜,又怕太專業、太枯燥,這本書很適合你。 整本書最大的優點是從頭幫你搭體系,不講廢話、不堆公式,一步步把 “什麼是知識圖譜、能做什麼、怎麼做” 講得清清楚楚。哪怕你是文科生、不懂代碼,也能看懂大半,讀完會有一種 “終於串起來了” 的通透感。 作爲新手,讀完能學到什麼? 搞懂知識圖譜到底是什麼 不再只停留在 “圖數據庫”“三元組” 這些詞,而是明白: 知識圖譜就是把世界用 “實體 — 關係 — 屬性” 畫成一張圖,讓 AI 像人一樣理解事物之間的聯繫。 學會一套完整的入門流程 書裏按順序講了最核心的 7 件事: 怎麼表示知識(三元組、本體) 怎麼存知識(圖數據庫) 怎麼從文本里挖知識(實體、關係抽取) 怎麼推理(從已知推未知) 怎麼把多個來源的知識合併(融合) 怎麼做問答機器人 怎麼用在實際場景 你不用背術語,看完就知道搭一個圖譜要分哪幾步。 搞懂大模型和知識圖譜的區別 很多人分不清 ChatGPT 這類大模型和知識圖譜。 這本書用很通俗的方式講明白: 大模型擅長 “說話、聯想” 知識圖譜擅長事實準確、邏輯嚴謹、不瞎編 現在最強的 AI,就是大模型 + 知識圖譜一起用 對新手特別友好,讀完你就能跟別人講清楚兩者的差別。 知道知識圖譜能用來做什麼 書裏會講到很多實際場景: 智能搜索、推薦、智能問答、風控、產業鏈分析、醫療、金融…… 你會發現:凡是需要 “準確、嚴謹、講邏輯” 的 AI,幾乎都離不開知識圖譜。 建立全局觀,不迷路 很多入門書要麼太碎、要麼太偏代碼, 這本最大的好處是框架清晰, 讀完你會知道: 自己現在學到哪、下一步該學什麼、哪些是重點、哪些可以先跳過。 適合誰讀?(非常直白) 想入門知識圖譜,但數理、計算機基礎弱的人 不想啃厚書、只想先搞懂整體框架的新手 做行業應用(比如金融、產業鏈、投研),想用知識圖譜解決實際問題的人 不想被一堆術語繞暈,希望用大白話搞懂原理的人 簡短總結 《知識圖譜導論》是一本非常良心的新手入門書: 不勸退、不晦澀、不堆砌公式, 能讓你從零建立完整認知, 讀完不僅懂概念,還知道 “能做什麼、該怎麼做”。 如果你想入門知識圖譜,又不知道從哪本書開始,這本可以放心讀。
先驗知識,康德提出的,那時候大家還在想着笛卡爾的“我思故我在”,康德對人如何認識世界提出來。先驗,生而有之,所以我們給康德戴上了唯心主義的帽子。但拜託,早期的康德可是以物理和數學而出名的。其實,如果你說先驗知識是某個超自然安裝在我們出生時候的頭腦中的,那可以說是唯心,但其實通過進化論和腦科學,我們完全可以給先驗知識一個唯物的解釋。知識是什麼,體現在大腦裏,就是腦神經的連接,而某一些神經的連接能不能像手腳一樣生而有之呢,應該是可以的,通過這麼多的進化,這些連接是刻在DNA裏面的,就像野馬生下來一會就會跑,這些都是DNA裏面的東西。而這些生而有之的神經之間的連接構成的知識,就是先驗知識。這個解釋夠唯物吧。 先驗知識很大程度構建了我們對世界認知的框架,之後的後驗知識,基本都是基於先驗知識的基礎上的。但人對一些經常的反應,會不斷強化,導致一些操作,雖然是後天學習的,但也好像是先驗知識一樣,所以我們有時候很難清楚去區分什麼是先驗的,什麼是後驗的。所以就有另外一種區分:快和慢,先驗知識肯定是快裏面的,而快的,應該比先驗知識更多。 什麼是快,什麼是慢,如果從反應時間或者需不需要想來區分,可能有點過於表面了。快和慢,是兩種不同的思維模型,快這個模型是類似於先驗知識,這些連接是通過不斷迭代進化而來,所以我們對這個模型不瞭解,無法去複製;慢這個模型都是後驗知識,通過逐步推理而來,我們是瞭解整個的推理過程的,瞭解這個模型的,所以我們是有可能複製的。 人工智能,大概可以分爲機器學習(神經網絡)和知識推理(沃森的那種)吧,大概也就對應着人的思維的快模式和慢模式。 機器學習,尤其是深度學習,是通過大量的數據不斷試錯迭代,這跟進化和人的不斷試錯類似,從而形成模型。但這個模型很難去理解,因爲就如同人無法理解快模式的模型一樣,機器的通過大數據量的模型也是無法解釋的。而且,機器構建的模型,跟人的模型是完全不同的,這就導致了,人無法去認同機器的一些低級的錯誤,也很難去通過修改模型來修正這錯誤(容易導致過擬合),因爲在人的那個快模型下,這些錯誤不會犯,但人們又忽略了機器能正確而人會錯誤的例子,因爲在人的模式下覺得這類的錯誤是可以原諒的。雙標的人類 。 而知識推理類似於人的慢模式,通過各種推理規則,由條件推導出結論。慢模式是可以複製的,所以這個模型很大程度就是一種模仿,這種人工智能是可以被人所理解的,它如果犯的錯誤,人是可以理解認同,並且是可以通過修改模型來規避這些錯誤的。 人工智能,不單單有深度學習神經網絡,也有知識推理,他們各有不同的擅長領域。在一些人的快模式上,深度學習更好,比如人臉識別,語音識別等,而在一些專業領域需要慢模式的,知識推理可能更適合一些,比如文章自動生成,知識問答等。有一些領域可能是在中間的,比如開車,是快模式還是慢模式,可能都有,所以自動駕駛,是通過大量的知識來構建模式還是通過一些限制來實現(比如跟前車距離,跟路的線的距離等),或許都可以。 人的語言,或許本來是慢模式,但現在網絡發展,大家的語言都已經突破了各種語法各種規範的限制,極其凌亂,大部分人說話都不經過大腦了,實際上就是語言越來越偏向快模式了,所以會有google說的,每當開掉一些語言專家,它的語言系統就上一個臺階,因爲是要使用快模式,而不是慢模式。 如果我們使用深度學習來構建一個系統,那弊端就是我們要容忍一些我們無法理解的異常,當然,我們可以通過系統來過濾掉大部分,再人工審覈一下剩下的那小部分。如果我們要使用知識推理來構建一個系統,弊端就是我們要一直對這個系統保持更新,並且容忍系統對於一些新的東西的無能爲力。 在依賴大量數據的機器學習和依賴人工構建模型的知識推理中間,其實還有一種,就是知識圖譜。或許,結合上知識圖譜能夠更好的構建人工智能。比如google的流感預測,有個詞認爲是和流感高度相關的,是“雞湯”,而到了感恩節那天,大家喫雞,導致這個詞上升很快,從而讓google做出錯誤的判斷,認爲流感上升。如果能夠結合知識圖譜,我們就可以看到“雞湯”不單單和感冒相關,還和喫雞相關,而感恩節又和喫雞相關,從而就有感恩節和雞湯相關的這個知識,那在感恩節到來的時候,我們可以把“雞湯”的上升歸結爲感恩節,而非流感。
〔推薦 指數〕:⭐️⭐️⭐️⭐️ AI 當前的發展就是在模仿人腦,人腦能夠在數字形式的隱知識到符號形式的顯知識之間,構建起高效的通路,不僅可以積累知識存儲,還能進行學習、分析和推理。 AI的工作方式和人腦很像:預訓練就好比人腦的讀書,微調就好比人腦在做題,校正對齊就好比老師批改作業,原理十分相似。 AI發展到今天,很少有人可以系統全面簡要的介紹全面。在複雜的技術背景下,局部的技術方法易得,但系統的整體觀缺很難構建。而《知識圖譜》這是目前AI領域中,最基礎和最堅實的一門子學科。 陳華均這本書基本全面覆蓋了知識圖譜的關鍵領域,包括表示、存儲、獲取、推理、融合、問答和分析等七大方面,並且包含了一百多個基礎知識點。 書中不僅介紹了傳統的知識圖譜技術,還涉及了多模態知識圖譜、知識圖譜與圖神經網絡的融合、本體表示學習、事理知識圖譜以及知識增強的語言預訓練模型等新興熱點和發展趨勢。 書中介紹的“三大件”——規則推理、神經網絡推理和圖推理,這些被認爲是知識圖譜推理機制的基礎,並且書中的比喻“海、陸、空”可能幫助讀者更好地理解這些概念。 此外,這本書不僅適合初學者梳理知識圖譜的基本知識點和關鍵技術要素,也適合技術決策者建立知識圖譜的整體視圖和系統工程觀,對於前沿科研人員來說,書中的內容有助於拓展創新視野和研究方向。我對中間的圖計算部分尤爲感興趣。 綜上所述,《知識圖譜導論》是一本內容豐富、覆蓋面廣、緊跟技術發展潮流的專業書籍,對於希望深入瞭解知識圖譜領域的讀者來說,是一本值得一讀的參考書。
《知識圖譜導論》讀後感 耗費了將近半年的時間,斷斷續續,我終於將這本書“啃”完了,莫名地感到一陣輕鬆! 選擇閱讀這本書,是因爲今年元月DeepSeek的火爆,激起了我想要了解如何“推理”的強烈慾望,以及探索其能否應用於冶金行業的好奇心。讀完之後,我覺得在冶金行業實現這一應用頗具難度。現實中,知識來源的數據模態至少有四種,分別是語言文字、視覺、結構化數據和時序數據。目前,大多數知識圖譜是以語言文字爲基礎構建的,用於知識庫查詢、問答、推理和綜合分析是可行的。然而,冶金工業的知識大多來源於結構化數據和時序數據。其中,結構化數據的應用已經成熟多年,而時序數據由於受到傳感器、通訊、存儲、數據質量(可獲得性、顆粒度、穩定性)、算力和算法等因素的限制,應用推廣進展緩慢,難以取得突破。 這是一本介紹知識圖譜的科普書籍,相較於一般的科普書,它更爲專業、更具深度。書中介紹了知識圖譜的起源與發展、概念、構建方法、應用場景以及未來的發展方向。結合人類知識的形成途徑,書中總結了符號表示和向量表示,並闡述了它們各自的優缺點以及融合方法。符號表示更符合人類的思維邏輯,具有可解釋性,但容錯性較低,無法涵蓋隱性知識,規模受限且優化困難;而向量表示更契合人類的感知,類似於通過將文本中的知識以三元組(頭實體、關係、尾實體)的形式提取出來,映射到向量空間(數據化編碼),以每個三元組的向量關係爲約束條件構建包含各種結構信息的知識圖譜。雖然其解釋性較差,但包含隱含的結構信息,易於大規模擴展,還可運用圖神經網絡深度學習手段。最爲理想的方式是將兩者融合,取長補短。 我最早接觸知識圖譜是在“天眼查”裏看到的示例——馬雲的關聯公司,其中包含參股公司、控股公司、持有股份等信息。此前,我也曾依據自己當時對知識圖譜的理解,從互聯網上收集信息,構建一些歷史名人的家譜和人物關係圖,以及我所閱讀的小說和人物傳記中的人物關係圖,比如《基督山伯爵》《平凡的世界》等。但通過這次系統地瞭解知識圖譜,我認識到知識圖譜並非僅僅是知識的局部關聯,其最終目標是構建一個世界模型。它從語言文字切入,如今正朝着李飛飛和META構建的世界模型發展,即將語言文字、視覺、聽覺以及物理定律融合爲多模態模型,逐步趨近真實的世界模型。該模型具備各種事務的分類和層次以及相互關係,存在各種適合推理的邏輯關係,既有確定性關係,也有更爲普遍的概率分佈。通過構建規模龐大的知識圖譜,更易於實現長程關聯和長程推理,將跨領域知識和非常規方法有機結合,實現創新和革命性突破!人類直接處理如此龐大的信息並不現實,但AI卻能夠高效完成。那麼問題來了,AI會是人類的最後一次技術革命嗎?
《知識圖譜導論》|陳華鈞 一句話概括 這是一本從系統工程視角介紹知識圖譜全生命週期的技術導論,完整覆蓋知識表示、存儲查詢、知識抽取、推理、融合、問答和圖數據分析,並延伸到圖神經網絡、預訓練模型與多模態知識圖譜。 核心邏輯 全書圍繞“如何把分散數據組織成機器可理解、可計算和可應用的知識系統”展開: 1. 用本體、實體、關係和屬性定義知識結構。2. 用符號和向量兩類方法表示知識。3. 選擇關係數據庫或圖數據庫存儲和查詢知識。4. 從文本及其他數據源中抽取實體、關係、概念和事件。5. 通過邏輯規則和表示學習推導未知知識。6. 通過本體匹配和實體對齊融合多源數據。7. 將知識圖譜用於智能問答和圖數據分析。8. 進一步與GNN、語言模型、多模態數據和低資源學習結合。 核心觀點是:知識圖譜不是一張可視化關係圖,而是一套涵蓋語義建模、數據治理、算法推理和業務應用的系統工程。 核心內容 1. 知識圖譜連接語言、數據與知識 自然語言包含大量知識,卻具有歧義、隱含和結構鬆散等特點。知識圖譜將其中的重要對象和關係轉化爲結構化形式。 典型組成包括: - 實體:現實世界中的人、地點、組織、產品或事件。- 概念:對同類實體進行抽象形成的類別。- 屬性:描述實體的特徵。- 關係:連接不同實體或概念。- 規則和約束:規定知識怎樣組織和推理。- 來源與時間:記錄知識從哪裏來、何時有效。 知識圖譜的價值在於爲數據增加語義,使不同系統能夠圍繞同一對象進行連接、檢索、分析和推理。 2. 建設知識圖譜是一項系統工程 一個知識圖譜項目不能從“抓取儘可能多的數據”開始,而應先明確業務目標: - 要解決什麼問題。- 哪些用戶會使用。- 需要覆蓋哪些領域。- 哪些知識最重要。- 更新頻率是多少。- 如何評價準確性和覆蓋率。- 錯誤會造成什麼影響。 系統還需要同時考慮本體設計、數據來源、抽取方法、人工審覈、存儲查詢、版本管理、質量監控和應用接口。 如果缺少完整工程視角,知識圖譜容易停留在一次性數據展示,無法長期維護和產生業務價值。 3. 符號表示提供明確語義 傳統知識表示重視概念、邏輯、規則和可解釋結構。 知識圖譜常使用三元組表示事實: 主體—關係—客體 例如“北京—是首都—中國”。 符號表示還包括: - RDF和RDFS。- OWL本體語言。- 類、實例和屬性。- 繼承與約束。- 規則系統。- 描述邏輯。 符號表示的優勢是語義清晰、可查詢、可驗證和較易解釋;缺點是建設成本較高,對不確定、模糊和大規模開放數據的適應能力有限。 4. 向量表示讓知識進入機器學習 向量表示將實體和關係映射到連續空間,使語義相近或結構相似的對象在向量空間中接近。 表示學習可以支持: - 鏈接預測。- 實體相似度計算。- 缺失關係補全。- 實體分類。- 下游機器學習任務。- 與文本、圖像和其他模態聯合建模。 向量方法具有較強的泛化和計算能力,但其內部含義不如符號規則直觀,也可能繼承數據中的偏差和錯誤。 成熟的知識系統通常需要結合符號表示的可解釋性與向量表示的學習能力。 5. 存儲方式要匹配查詢需求 知識圖譜可以存儲在關係數據庫、三元組數據庫或原生圖數據庫中。 關係數據庫成熟穩定,適合結構相對固定的數據,但複雜關係查詢往往需要多表連接。 原生圖數據庫把節點、邊和屬性作爲基本結構,更適合: - 多跳關係查詢。- 路徑發現。- 鄰居遍歷。- 社交網絡分析。- 關聯推薦。- 風險關係識別。 選擇數據庫不能只看“圖數據庫是否新”,還應評估數據規模、寫入模式、查詢類型、一致性要求、運維能力和成本。 6. 知識獲取把非結構化內容轉成事實 知識圖譜構建的重要來源是文本、表格、網頁、數據庫和業務記錄。 主要任務包括: - 實體識別:找出文本中的人名、地名、機構、產品等。- 關係抽取:識別實體之間的關係。- 屬性補全:提取或預測實體屬性。- 概念抽取:形成領域中的類別體系。- 事件抽取:識別事件類型、參與者、時間和地點。- 實體鏈接:將文本提及映射到圖譜中的真實實體。 知識抽取可以依靠規則、傳統機器學習、深度學習和預訓練語言模型。真實系統通常需要多種方法結合,並配合人工審覈。 7. 數據質量比圖譜規模更重要 自動抽取難免產生錯誤、重複和歧義。圖譜質量需要從多個維度評估: - 準確性。- 完整性。- 一致性。- 時效性。- 唯一性。- 來源可信度。- 可追溯性。 一個擁有數十億三元組的圖譜,如果實體重複、關係混亂、數據過期,應用價值仍然有限。 質量管理應貫穿採集、抽取、融合、更新和使用全過程,而不是等圖譜建完後再集中清洗。 8. 推理幫助發現隱含知識 知識圖譜中的已有事實可以進一步推導出新結論。 符號推理依靠: - 邏輯規則。- 本體約束。- 類別繼承。- 關係傳遞。- 一致性檢查。 表示學習推理則根據實體和關係在向量空間中的結構,預測可能缺失的事實。 兩種方法各有優勢: - 符號推理較易解釋,但依賴規則和完整建模。- 向量推理具有泛化能力,但結論通常帶有概率性。- 混合推理有望兼顧準確性、覆蓋率和解釋能力。 推理結果不能自動視爲事實,還需要置信度、證據來源和業務規則約束。 9. 知識融合解決多源異構問題 多個數據源可能使用不同名稱、結構和概念體系描述同一對象。 知識融合分爲兩個主要層面: - 概念層融合:通過本體匹配統一類別、屬性和關係。- 實例層融合:通過實體對齊判斷不同記錄是否指向同一實體。 實體對齊可能使用: - 名稱和別名。- 屬性相似度。- 關係結構。- 上下文信息。- 向量表示。- 人工校驗。 融合不僅是“去重”,還需要處理衝突事實、來源可信度、時間變化和版本差異。 10. 知識圖譜問答把自然語言轉成圖查詢 知識圖譜問答的目標,是讓用戶用自然語言提問,再從圖譜中得到準確答案。 主要技術路線包括: - 模板匹配:根據預設句型生成查詢。- 語義解析:把問題轉換成結構化查詢語言。- 檢索排序:召回候選實體和答案,再進行排序。- 深度學習:學習問句與圖譜結構之間的映射。- 混合方案:結合規則、檢索、知識表示和語言模型。 問答系統需要解決實體鏈接、關係識別、歧義消除、多跳推理和答案解釋等問題。 模板方法穩定但覆蓋有限,深度模型覆蓋更廣,卻需要更多數據,並可能出現難以解釋的錯誤。 11. 圖算法揭示知識網絡結構 知識圖譜本質上是一種圖結構,可以使用基礎圖算法分析: - 節點重要性。- 最短路徑。- 連通分量。- 社區結構。- 相似節點。- 關係傳播。- 異常連接。 這些算法可以應用於推薦、風控、搜索、供應鏈、科研分析和社交網絡等場景。 圖算法通常依據明確結構計算,而圖表示學習則通過數據訓練得到潛在特徵。二者結合可以同時利用顯式關係和隱含模式。 12. 圖神經網絡融合結構與特徵 GNN通過聚合鄰居信息更新節點表示,使模型同時學習對象屬性和關係結構。 一般過程包括: 1. 收集鄰居節點或邊的特徵。2. 對鄰居信息進行聚合。3. 與當前節點表示結合。4. 重複多層傳播。5. 用於分類、預測或圖級任務。 知識圖譜與GNN結合後,可以用於鏈接預測、實體分類、推薦和關係推理。 但層數過多可能導致過度平滑,大圖還面臨採樣、計算和存儲挑戰。 13. 多模態知識圖譜連接文本、圖像與其他數據 現實知識並不只存在於文本中,還包括圖像、視頻、語音、傳感器和空間數據。 多模態知識圖譜需要解決: - 不同模態對象的統一表示。- 圖像和文本實體的對齊。- 跨模態關係抽取。- 不同信息衝突的處理。- 缺失模態的補全。- 多模態檢索和問答。 它能夠支持商品理解、醫療輔助、媒體分析和智能搜索,但數據標註和語義對齊成本較高。 14. 知識圖譜與預訓練語言模型可以互補 語言模型擅長從大規模文本中學習語言模式,但其知識隱含在參數中,可能過時、出錯或難以追溯。 知識圖譜具有結構清晰、可更新和可追蹤的優勢,但覆蓋範圍和語言表達能力有限。 二者結合的方向包括: - 用知識圖譜增強預訓練。- 在輸入中加入實體和關係。- 用圖譜約束生成結果。- 通過檢索爲模型提供最新知識。- 從語言模型中輔助抽取和補全圖譜。- 對模型輸出進行事實覈驗。 理想系統不是用知識圖譜或大模型單獨解決所有問題,而是讓語言能力、結構知識和外部檢索形成協作。 15. 事理知識圖譜關注事件演化 傳統知識圖譜主要描述靜態事實,如“誰是什麼”“誰與誰有關”。 事理知識圖譜進一步表示: - 事件之間的因果關係。- 先後順序。- 條件與結果。- 發展趨勢。- 可能的後續事件。- 事件參與者的變化。 它適合金融風控、輿情分析、醫療路徑和公共安全等具有時間演化特徵的領域。 事件關係通常具有概率性和情境依賴,因此需要比靜態事實更謹慎的建模和驗證。 16. 前沿技術必須回到應用價值 書中還討論低資源學習、結構化知識預訓練和區塊鏈等方向。 這些技術是否值得采用,應根據實際問題判斷: - 數據是否真的稀缺。- 是否需要多方協作和可信記錄。- 結構化知識是否能提高任務效果。- 新技術是否增加過高複雜度。- 系統能否持續更新和運維。- 收益是否高於建設成本。 技術熱點不等於業務需求,知識圖譜項目必須圍繞明確應用場景進行取捨。 本書最值得關注的核心觀點 知識圖譜的核心不是“圖”,而是“知識的系統化治理”。 畫出節點和連線並不困難,困難的是: 什麼應該成爲實體?關係如何定義?不同來源如何對齊?衝突如何解決?知識如何更新?答案如何追溯? 只有把語義標準、數據質量、計算模型、存儲查詢和應用反饋統一起來,知識圖譜才能從展示工具變成真正的知識基礎設施。 一段話總結 《知識圖譜導論》從語言、知識工程和語義Web的歷史講起,系統介紹知識圖譜的實體、關係、本體和三元組等符號表示,以及實體和關係的向量表示;隨後討論關係數據庫與原生圖數據庫的存儲查詢,實體識別、關係抽取、屬性補全、概念與事件抽取等知識獲取技術,並進一步講解基於邏輯規則和表示學習的推理、本體匹配與實體對齊、模板與語義解析驅動的智能問答,以及圖算法、圖表示學習和圖神經網絡。前沿部分還涵蓋多模態知識圖譜、知識增強語言模型、事理知識圖譜、低資源學習、結構化知識預訓練和區塊鏈。全書最核心的啓發是:知識圖譜不是單純的節點連線或圖數據庫,而是一項貫穿語義建模、數據抽取、質量治理、融合推理、持續更新和業務應用的系統工程;真正的價值來自結構化知識能否被可靠查詢、解釋、複用並服務實際決策。
注意本書一些章節需要讀者具備一定前置知識。第2章需要讀者具有數據庫技術的相關基礎,第3章到第8章要求讀者已經瞭解基本的機器學習知識,並開展過一些深度學習實踐。第4章要求讀者已經掌握部分自然語言處理的基本知識。
就是很標準的導論,清晰完整地介紹了知識圖譜的基本概念、構建過程與主流技術方案,更細節的實現部分還是要另尋他處了。 書如其名,主要講的是知識圖譜。讀這本書的時候發現自己像在看一部很長很全面的綜述,許是自己導論讀得不多,對如此的本質並不熟悉,也可能是這本書獨有的特點,總之不影響閱讀。 從概念上來說,知識圖譜是利用圖結構記錄實體間關係的數據庫,依託於此,也可以實現對關係或目標實體的推理和問答。 而在實現層面,則需要考慮知識的表示、存儲與查詢,即數據庫的結構設計;知識獲取過程中的關係識別、補全、抽取;以及圖譜建立後的推理、問答支持與多圖譜融合擴增。 新的發展方向則又是典中典的多模態、預訓練、少樣本學習、區塊鏈確權等。此外,所有與知識項表示相關的內容也都融入了表示學習的內容。 確實能幫助快速構建起對知識圖譜的完整認識。
目前市面上關於知識圖譜的書籍還不算很多,這本導論有配套的網絡課程,對於瞭解整個知識圖譜來說,還是挺不錯的。 本書的優點在於介紹了知識圖譜的主要領域的知識,詳略得當,便於快速瞭解。相對應的,缺點在於對於一些技術細節,解釋地不夠細緻,特別是書中引用了大量論文的插圖,但是對於這些圖的解釋,並不是很詳細。 總得來說,個人感覺相比較清華劉知遠老師團隊的《知識圖譜與深度學習》來說,介紹的知識圖譜內容更爲全面,但細節沒有他們寫的詳細。相比較王昊奮老師團隊的《知識圖譜:方法實際與應用》來說,更易讀些。
我還是推薦閱讀,因爲知識架構完整。雖然許多算法看不懂,也沒有代碼講解,但是就這一個有點就夠了。 這本書相當於一個論文綜述,那麼多論文,人家研究那麼多年,你輕鬆都學會了,怎麼可能。 建議讀的時候,可以一邊聽老師的慕課一邊看書。 我感覺慕課比書還詳細,慕課在老師的主頁可以找到。 最後,希望老師再出一本書,講實踐。