人工智能發(fā)展到今天，以深度學習和知識圖譜為代表的感知智能（主要集中在對于圖片、視頻以及語音的能力的探究）和認知智能（涉及知識推理、因果分析等），得到越來越多的應用，知識圖譜逐漸成為關鍵技術之一，現已被廣泛運用到智能搜索、智能問答、個性化推薦、內容分發(fā)等領域。知識圖譜在2012年由谷歌提出，旨在描述現實世界中存在的實體以及實體之間的關系。它把復雜的知識領域通過數據挖掘、信息處理、知識計量和圖形繪制出來，探索知識領域的動態(tài)發(fā)展規(guī)律，它不是指某一特定的模型，是指一類模型、一種技術體系。

知識圖譜作為近年在大數據時代下新穎的知識組織與檢索技術，它的知識組織和展示的優(yōu)勢慢慢體現出來，越來越得到各行業(yè)的重視。知識圖譜在很多場合上被用作讓機器理解語言的背景知識庫，它的根本意義就是能幫助機器理解語言。下面我們通俗易懂地介紹一下知識圖譜中涉及的關鍵技術，以便于讀者加深一些知識圖譜的感性認識，為今后知識圖譜的應用打下一定技術基礎。

知識圖譜的技術生態(tài)鏈概述

知識圖譜通常以實體為節(jié)點形成一個大的網絡，從實際業(yè)務需求出發(fā)，在知識實體之上抽象出數據模型，按實體自身、實體屬性、實體關系，將多領域的信息關聯起來，同時利用第三方數據，結合知識獲取方法，填充圖譜信息。

知識圖譜的技術生命周期大致可分為六大步驟，按順序依次為：知識建模、知識獲取、知識加工、知識存儲、知識校驗、知識應用。

整個知識圖譜技術生態(tài)鏈生命周期如上圖，其流程是：

1、知識建模：對知識圖譜進行構建，包括數據模型、知識模型等；

2、知識獲取：接入采集和采購數據，進行數據標引，并根據指標計算得出未識別的實體基礎數據；用實體對齊消歧服務進行實體識別，初步得到實體基礎數據；

3、知識存儲：將驗證過的實體基礎數據保存到知識庫，訓練機器學習模型，保存知識到知識圖譜（特指圖數據庫）中；

4、知識加工：知識庫將實體基礎數據進行知識融合，進行知識計算服務；

5、知識校驗：整個過程中進行驗證和校驗；

6、知識應用：基于以上技術支撐，實現知識圖譜應用。

形成知識圖譜技術鏈的“降龍六掌”

在武俠迷熟知的金庸武俠世界中，有一套號稱“天下第一剛猛”的掌法——降龍十八掌，使用者配合渾厚的內力，無堅不摧、無固不破。雖招數有限，但每一招均具巨大的威力，是歷代丐幫幫主的獨門絕學。我們在這里可以把知識當作一類“龍”，借用一下金庸大俠描繪的降龍十八掌中頗具威力的六掌，來形容知識圖譜的六大技術步驟如何“降龍”，方便讀者理解。這六大招術對應知識圖譜技術鏈分別是：

讀者朋友疑惑了：“降龍”武功和人工智能技術有什么關系？別急，下面我們來逐一介紹。

1、知識建模——見龍在田

降龍十八掌中的“見龍在田”這一招，是蓄勢之后構建自身堅固防御的掌法，與構建知識圖譜模型比較類似，是打基礎的步驟。知識圖譜的模型構建是整個技術鏈條重要的第一步，其質量直接決定了圖譜應用的效果。知識圖譜構建了實體與實體之間更深層次、更長范圍的關聯，增強了機器學習算法的挖掘能力，一定程度上提高了人工智能預測的準確性和多樣性，也有效地彌補交互信息的稀疏或缺失。

通過圖譜建模，其建立的Schema相當于數據模型，描述了領域下包含的類型（Type），與類型下描述實體的屬性（Property），Property中實體與實體之間的關系為邊（Relation），實體自帶信息為屬性（Attribute）。知識圖譜建模的步驟如下：

（1） 確定實體（圖譜中的節(jié)點），將實體抽取、合并，對不同來源的數據進行映射合并；

（2） 將實體屬性與標簽建模，利用屬性來表示不同數據源中對實體的描述，對實體的全方位描述進行建模；

（3） 實體關系信息建模（圖設計），記錄描述各類抽象建模成實體的數據關系，支持分析關聯；

（4） 多實體之間靜態(tài)關聯建模，實現圍繞實體多種類數據的關聯建模；

（5） 實體動態(tài)事件關聯建模，將客觀世界中實體動態(tài)發(fā)展與事件關聯，利用時序記錄實體的發(fā)展狀況。

2、知識獲取——雙龍取水

在知識采集的過程中，經常會遇到結構化和非結構化（包括半結構化）兩種數據，我們可以把這兩種數據比喻為兩條“龍”。而在降龍十八掌中有一招就是“雙龍取水”，這一招是雙掌同時發(fā)出取敵要害，可以形象地比喻獲取上述的結構化和非結構化知識數據。知識圖譜的數據來源有類型多、來源廣、數量大、模式繁雜等特點，相對傳統(tǒng)的數據采集和抽取，難度是比較大的。

知識圖譜可以將多源異構、多維的數據匯聚到一起，通過知識獲取的技術手段，將不同來源、不同結構的數據進行知識提取，最后形成知識存入到知識圖譜。針對不同種類的數據，需要利用不同的技術進行提取。

l 結構化數據的獲取相對簡單，做好數據的映射和轉換，就可以進行常態(tài)化抽取。

l 對于半結構化數據，通常利用人機結合方式自動學習，針對不同結構的數據配置的數據源進行解析，主要識別文本或數據中的人名、地名、專業(yè)術語、時間等實體信息進行抽取。

l 對文本類的非結構化數據進行實體識別、關系抽取、概念抽取、事件抽取。通常面向特定領域的信息抽取可預先定義好抽取的關系類型，利用“啟發(fā)式算法+人工規(guī)則”，實現自動抽取實體信息，同時使用機器學習算法訓練系統(tǒng)來減少各種形式的噪音和不確定性，通過“有監(jiān)督學習+先驗知識”，為每一個決斷進行復雜的可能性計算。在抽取過程中，通常會使用NLP分詞、命名實體識別工具如NLPIR、LTP等工具進行監(jiān)督學習和信息抽取。

3、知識存儲——潛龍在淵

潛龍在淵（又名：潛龍勿用）是降龍十八掌中積累了較大的內力然后蓄勢而發(fā)的一招，相當于時刻準備著隨時能夠對敵人給予打擊。知識圖譜對知識存儲也類似，是將知識和相關信息、數據進行存儲，形成海量的知識庫，以便后續(xù)進行知識圖譜的應用。知識圖譜的存儲是基于圖的數據結構，主要方式有：RDF（Resource Description Framework）存儲和圖數據庫（Graph Database），知識圖譜數據存儲需要支持的基本數據存儲有：三元組知識存儲、事件信息存儲、事態(tài)信息存儲、使用知識圖譜組織的數據存儲。

當前項目上大部分使用neo4j進行知識圖譜存儲，neo4j的特點是采用原生圖存儲與處理，不支持AICD事物處理，不使用Schema。

在實際項目中，針對知識圖譜的存儲沒有一種通用的能夠解決所有問題的方案，主要還是依據數據特點進行數據存儲結構的選擇與設計，存儲設計時需要考慮：基礎存儲可按數據場景選擇使用關系型數據庫、非關系型數據庫或內存數據庫；不在圖數據庫中統(tǒng)計分析計算，將需要進行統(tǒng)計分析計算的數據放到規(guī)劃合適的存儲中再進行統(tǒng)計分析；需要考慮快速推理與圖計算等大數據存儲的支持。

4、知識加工——龍戰(zhàn)于野

“龍戰(zhàn)于野”的寓意為：在荒野與龍大戰(zhàn)，是降龍十八掌中十分奧妙的招式，也是眾多招式中覆蓋范圍大、縱橫捭闔、恢弘大氣的絕技。在知識圖譜中為了獲得結構化、網絡化的知識體系，還需要進行知識加工，而知識加工的過程復雜，對數據進行各種復雜地整合、清洗、計算，用這一招“龍戰(zhàn)于野”來比喻還是相對貼切的。

知識加工是一個知識數據處理過程的統(tǒng)稱，包括知識融合、知識計算、知識更新等過程。通過數據的抽取，從原始數據里提取出實體關系和屬性的知識要素，再經過知識融合，消除實體的支撐項和實體對象之間的奇異，得到一系列基本的事實描述，再經過知識計算（推理）、知識更新，最終形成知識圖譜。

下面我們按這三個過程，簡單介紹一下：

l 知識融合：將知識獲取后得到的多源異構、信息多樣、動態(tài)演化的知識通過沖突檢測和一致性檢測，對知識進行正確性判斷、去粗取精。主要包括實體鏈接、知識合并兩部分操作。

l 知識計算及推理：包括圖挖掘計算、知識推理等。知識推理是指從已有的實體關系數據出發(fā)，進行計算推理，建立實體新關聯，擴展和豐富知識網絡，知識推理是構建知識圖譜的重要手段和關鍵環(huán)節(jié)。典型的方法有：

屬性值推理：比如根據樹木的年輪可推斷出其生長年份；

概念推理：如狼屬于犬科，犬科屬于食肉目，可以推出狼屬于食肉目。

l 知識更新：知識圖譜所獲取的知識是不斷動態(tài)新增的，知識更新基于不斷流入的數據進行分析從而得到的類似事件實體的動態(tài)數據，新增數據后獲得了新概念，需將新概念加入到知識庫中。還有將新增或更新的實體、關系、屬性、屬性值加入知識庫。典型的更新可以是：由大數據計算“熱詞”與已有實體比較，自動補充新實體；通過遠程監(jiān)督，當遠程數據資源發(fā)生變化被監(jiān)測到時，監(jiān)督自身數據是否需要隨之變化。

5、知識校驗——亢龍有悔

“亢龍有悔”的寓意是“盈不可久，步有虛實，可退可先”。在降龍掌法中，是一個圓轉如意、可以隨時修正的招術。知識圖譜中，知識在積累、加工過程中，逐步會產生一些問題，需隨時進行知識校驗（也可以叫做知識的質量評估），不斷修正“亢”（突出的情況），才能長期使用。知識校驗是知識圖譜構建的重要組成部分，通過校驗對知識體系的可信度進行量化評估后，再進行知識糾偏來保證知識庫的質量。

知識校驗是貫穿整個知識圖譜技術生態(tài)鏈的過程。在初期的模型設計過程中，需要嚴格規(guī)范模型及其類型、屬性等等。如果不夠規(guī)范，會導致錯誤傳達到數據底層且不易糾錯。在知識來源中獲取的知識（數據）或多或少都包含著各種雜質，在模型層面上，添加人工校驗方法與驗證約束規(guī)則，保證導入數據的規(guī)范性進行知識校驗。

對于實體間關系的準確性，如上下文關系是否正確、實例的類型是否正確，實例之間的關系是否準確等，可以利用實體的信息與圖譜中的結構化信息計算一個關系的置信度，或看作關系對錯與否的二分類問題。涉及到其他來源的數據，在數據融合的同時進行交叉驗證，保留驗證通過的知識。當圖譜數據初步成型，在知識應用過程中，通過模型結果倒推出的錯誤，也有助于凈化圖譜中的雜質（如知識推理時出現的矛盾導致知識有誤的情況）。

6、知識應用——飛龍在天

當知識庫中的知識積累到一定程度，就是知識圖譜顯示威力的時候了，“飛龍在天”是降龍十八掌中威力巨大，具超強展現力的一招掌法。同樣，知識應用也即知識圖譜的“飛龍在天”，是最終開花結果的階段。知識應用階段能體現更規(guī)范的數據表示、更強的數據關聯以及更深邃的數據價值。

當今知識圖譜已經蓬勃發(fā)展，上圖是網絡上知識圖譜的典型應用場景，可以看到知識圖譜已經突破最早在智能搜索領域應用的初衷，快速發(fā)展到智能客服、推薦、情報分析、智能對話、輔助決策等等其他人工智能領域。

當前AI領域非常火熱的語義搜索，就是基于知識圖譜對用戶輸入進行理解，解決傳統(tǒng)搜索中遇到的關鍵詞語義多樣性及語義消歧的難題，識別實體、概念和屬性，并返回實體、關系、鏈接的數據等所產生的豐富結果。

語義搜索可以延伸發(fā)展到基于自然語言理解的智能問答系統(tǒng)。智能問答針對用戶輸入的自然語言進行解析，對用戶查詢意圖進行分析與理解，從知識圖譜中或目標數據中進行查詢檢索，生成候選答案并根據結果權重進行排序，給出用戶問題的答案。

另外，可視化決策輔助也是知識圖譜越來越多的應用方向之一，很多人工智能的實際應用中，通過圖譜展示、統(tǒng)計分析、最短路徑發(fā)現、多節(jié)點關聯探尋等可視化技術手段，能夠構建基于知識圖譜的一體化決策輔助系統(tǒng)，以支撐用戶進行知識決策輔助應用。

知識圖譜可以建立為面向某一行業(yè)領域特定的知識圖譜應用平臺，比如目前知識圖譜在風控領域上，更多應用于反欺詐、反洗錢、互聯網授信、保險欺詐、銀行欺詐、電商欺詐、項目審計作假、企業(yè)關系分析、罪犯追蹤等場景中。

結語

知識圖譜是一個很龐大的技術體系，在人工智能領域中，可以說和深度學習是一樣的繁雜和深奧，限于篇幅，本文僅僅是做一個科普，使讀者朋友對知識圖譜的技術鏈建立一個感性認識，并產生一定的興趣，方便今后大家有機會時能更好地去研究和應用知識圖譜體系。

知識圖譜是知識工程的一個分支，以知識工程中語義網絡作為理論基礎，并且結合了機器學習、自然語言處理和知識表示和推理的最新成果，在解決大數據中文本分析和圖像理解問題發(fā)揮重要作用。

知識圖譜的發(fā)展目前還處于初級階段，面臨眾多挑戰(zhàn)和難題，如：知識庫的構建有效策略和自動擴展、大規(guī)模的異構知識處理、推理規(guī)則學習、人機協(xié)作和人機邊界問題、跨語言檢索等等。

此外，知識圖譜建立以后，對其運行后的管理、運維、人工監(jiān)督等方面，也非常重要，應當盡量避免在知識圖譜運維中因為新知識的錯誤發(fā)布對現有業(yè)務的影響，并將經過嚴格測試驗證的知識圖譜版本正式生效上線，最終保證知識圖譜全生命周期各環(huán)節(jié)的數據質量。同時，通過知識圖譜應用的使用記錄及問題反饋帶動知識圖譜的運維優(yōu)化，形成閉環(huán)全周期的多知識圖譜間的運維管控。因此知識圖譜的“數據生態(tài)”與“技術生態(tài)”，是需要不斷地抽象總結再演繹細化的過程。

當前，知識圖譜的地位越來越重要，可以說凡是有知識和關系的領域都可以用到知識圖譜。事實上，知識圖譜也已經成功俘獲了大量客戶，而且應用領域和客戶數量還在不斷增長中，感興趣的讀者朋友可以一直關注和持續(xù)學習。