老焦專欄 | 解開知識圖譜神秘的面紗
2知識圖譜建設的主要過程
目前知識圖譜應用的領域比較多,例如智能問答、智能搜索、金融行業(yè)的反欺詐/信用審核/信用證審核、電子商務的智能推介、公共安全的數據對碰、大型裝備的故障檢測與維修、電網的故障檢測與應急預案、保險行業(yè)的智能核保/智能核賠,總之這是一種讓軟件更加智能化的手段。但是如何構建一個相對完備的知識圖譜應用是一個挑戰(zhàn),難點主要包括:
1)如何建立知識的模型,也就是上述的“概念”如何建立;2)知識的獲得比較困難,因為我們面臨的可能是海量的知識;3)所獲得知識的正確性如何驗證;4)如何存儲知識,進行快速的推理;5)如何將知識在軟件中得到應用,發(fā)揮價值等等。
這里面歸根結底還是如何用工程化方式建設知識圖譜,如何用工程化方式基于知識圖譜建設應用的問題,因此后面我們主要探討如何進行知識圖譜建設與應用的工程化方法。
知識圖譜可以分為通用知識圖譜和領域知識圖譜,實際上谷歌或者百度這樣的大型互聯網公司在構建的是通用知識圖譜,它主要是用于搜索引擎,它的用戶是全部的互聯網的用戶,它構建的是常識性知識為主,包括結構化的百科知識,它強調的是一種知識的廣度,對知識的深度方面不做更多的要求,它的使用者也是普通的用戶。對于領域知識圖譜而言,它首先是面向一個特定的領域,它的知識來源是特定行業(yè),基于行業(yè)的數據來構建,而且要有一定的行業(yè)的深度,它強調的是深度能夠解決行業(yè)人員的問題,它的使用者也是這個行業(yè)內的從業(yè)人員。
從上述定義上可以看出,這兩者的構建過程和目的會有很大的不同,作為一個企業(yè)級軟件的從業(yè)者,我關注的主要是領域知識圖譜,因此這里我要探討的也是領域知識圖譜構建與應用的工程化問題。
由于是工程化問題,我們希望不要講更多的理論,而是采用類似軟件工程的方法,將知識圖譜構建與應用的過程講清楚,在過程的每一個環(huán)節(jié)上探討涉及的方法與技術:
1)知識圖譜技術架構:確定知識的表示方式和知識的存儲方式;2)知識圖譜建設方法論:知識圖譜建設可以分為知識建模、知識抽取、知識驗證這樣幾個階段,形成一個知識圖譜;3)基于知識圖譜建設應用:每一類應用的側重點不同,使用技術和達到的效果也不同,我們總結為知識推理類、知識呈現類、知識問答類、知識共享類,后面會具體介紹。
3知識圖譜技術架構
知識圖譜的關鍵技術架構分為知識表示、知識存儲兩個部分。常用的知識圖譜表示是通過三元組方式,三元組是由實體、屬性和關系組成的(由Entity、Attribute、Relation組成)。具體表示方法為,實體1跟實體2之間有某種關系,或者是實體屬性、屬性詞;谝延械娜M,可以推導出新的關系,知識圖譜要有豐富的實體關系,才能真正達到它實用的價值。
如果我們把上面周杰倫的例子描繪如下圖,你會發(fā)現知識的表示方式和面向對象的概念非常類似,概念就是元模型/類,實體就是對象,關系就是對象間的關系。實際上,在很多著作中也把面向對象作為一種知識表示方法。
利用我們熟悉的面向對象方式進行知識的表述,結合其他一些知識圖譜的技術,是一個比較容易入手的方式。既然知識的表示以概念、實體、關系、屬性為基礎元素,就可以利用圖數據庫存儲,目前有很多圖數據庫可以做選擇,例如Neo4J、JanusGraph等,也可以在傳統(tǒng)關系數據庫上進行存儲,這里我就不深入探討了,因為確定了表示方式,如何存儲不是一個大問題。 這一篇我們介紹了知識圖譜的基本概念和用途,下一篇主要介紹知識圖譜建設的方法論,第三篇將用實際的案例,介紹一個基于知識圖譜的知識推理類應用。
- The End -
關于作者:焦烈焱,普元信息CTO,致力于技術創(chuàng)新和金融創(chuàng)新解決方案研究。專注于企業(yè)技術架構領域,對分布式環(huán)境的企業(yè)計算、 企業(yè)信息架構的規(guī)劃與實踐有著豐厚經驗,帶領普元技術團隊相繼在云計算、大數據及移動開發(fā)領域取得多項突破,并主持中國工商銀行、中國建設銀行等多家大型企業(yè)技術平臺的規(guī)劃與研發(fā)。

請輸入評論內容...
請輸入評論/評論長度6~500個字