人工智能:破解梵蒂岡神秘卷宗之謎,以后青銅銘文也交給 AI 來識(shí)別好了!
這個(gè) AI 認(rèn)識(shí)中世紀(jì)手寫拉丁文
“以后青銅銘文也交給 AI 來識(shí)別好了!”
AI 識(shí)別文字已經(jīng)不算是什么難事,但是如果字體是手寫,而且還是古文呢?
這似乎聽起來具有相當(dāng)?shù)碾y度!
梵蒂岡秘密檔案館(Vatican Secret Archives)可謂全球最偉大的歷史藏品之一,但其珍藏的許多文件從未轉(zhuǎn)錄。近日,一個(gè)名為 Codice Ratio 項(xiàng)目,利用人工智能與光學(xué)字符識(shí)別(簡(jiǎn)稱 OCR)軟件的組合重現(xiàn)這些被忽視的文本,并將其重新呈現(xiàn)在世人面前。
這座恢宏的建筑坐落在梵蒂岡城墻之內(nèi),毗鄰使徒圖書館、位于西斯廷大教堂北側(cè),擁有著可追溯于1200年之前的總長(zhǎng)達(dá)53英里的書架。除了將Martin Luther逐出教會(huì)的《教皇詔書》之外,其中還包括蘇格蘭瑪麗女王被處決之前發(fā)給教皇西克斯五世的函件。在規(guī)模與范圍方面,其中的收藏幾乎著稱無與倫比。
然而,梵蒂岡秘密檔案館對(duì)現(xiàn)代學(xué)者卻沒多大現(xiàn)實(shí)意義。因?yàn)樵谶@長(zhǎng)達(dá)53英里的書架當(dāng)中,只有極少數(shù)書頁經(jīng)過掃描以提供在線版本,這當(dāng)中的一小部分轉(zhuǎn)錄為計(jì)算機(jī)文本以供內(nèi)容搜索。如果我們打算閱讀其它任何內(nèi)容,則必須申請(qǐng)?zhí)厥獾脑L問權(quán)限,一路前往羅馬,并親自動(dòng)手翻開這些古籍。
傳統(tǒng) OCR 技術(shù)只適用于經(jīng)過嚴(yán)格排版的文字,而對(duì)于字母之間缺少間隔空間(即臟分割)的手寫卷宗形式則無法識(shí)別。對(duì)此, Codice Ratio 項(xiàng)目利用拼圖分割法將單詞理解為一種單筆筆劃,軟件只需要知曉哪些組塊代表真實(shí)的字母,而哪些只是連筆造成的假象即可。該軟件的手寫字母判斷準(zhǔn)確率已經(jīng)高達(dá)96%。如果成功,這項(xiàng)技術(shù)還將被用于處理世界各地其它歷史檔案庫當(dāng)中數(shù)不勝數(shù)的其它記錄文件。
利用拼圖分割法讓 OCR 識(shí)別連體字
由于傳統(tǒng)OCR技術(shù)是把單詞分割成一個(gè)個(gè)字母來識(shí)別的,所以對(duì)于這類連體字,OCR無法識(shí)別字母。有人想出了一個(gè)方案,直接讓OCR去識(shí)別一個(gè)個(gè)的單詞,但是,如何讓OCR掌握成千上萬的拉丁文單詞呢?大概需要一個(gè)排的中世紀(jì)拉丁文專家來辨認(rèn)不同單詞的圖形。
除了請(qǐng)專家辨認(rèn)單詞外,還有更簡(jiǎn)單的方法幫助OCR識(shí)別手寫字母,只要找實(shí)習(xí)生就可以搞定了。
我們知道,無論中文還是英文,連體字中粗的部分是筆畫,細(xì)的部分是筆尖移動(dòng)造成的虛線,并不是筆畫的一部分。根據(jù)這個(gè)原則,In Codice Ratio的專家們發(fā)明了新的方法——拼圖分割法。拼圖分割法改變了傳統(tǒng)OCR把單詞分成字母的傳統(tǒng)方式,而是是把連在一起的單詞按照筆畫分隔開,在此之后,該軟件會(huì)進(jìn)一步進(jìn)行字母繪制,并最終生成以下一系列拼圖碎片:
這些拼圖碎片本身作用不大,但該軟件能夠?qū)⑵渫ㄟ^多種方式組合起來以生成可能的字母。具體來講,軟件只需要知曉哪些組塊代表真實(shí)的字母,而哪些只是連筆造成的假象即可。
為了教會(huì)軟件這項(xiàng)能力,研究人員們選擇了不同尋常的導(dǎo)師——高中生。該團(tuán)隊(duì)在意大利的24所學(xué)校當(dāng)中招募了一批高中生用于建立項(xiàng)目的記憶庫。學(xué)生們?cè)诘卿浵嚓P(guān)網(wǎng)站后,會(huì)看到如下圖所示的三分屏幕界面:
之后,就要讓識(shí)別系統(tǒng)判斷對(duì)錯(cuò):識(shí)別出的字母,哪些是真正的字母,哪些是虛線的誤判。
通過一次次點(diǎn)擊,學(xué)生們努力教授該軟件如何識(shí)別22個(gè)中世紀(jì)拉丁字母(a-i,l-u,以及s與d的某些替代形式)。 22個(gè)中世紀(jì)拉丁文字母都學(xué)會(huì)之后,這個(gè)識(shí)別系統(tǒng)就成為了一個(gè)能認(rèn)識(shí)手寫體中世紀(jì)拉丁文的AI。
當(dāng)然,最終學(xué)生們也不再需要參與其中。當(dāng)訓(xùn)練進(jìn)行到一定階段之后,該軟件即可獨(dú)立拼圖,并自行判斷字母的具體位置。這,正是人工智能的價(jià)值所在。
在另一方面,這也證明單靠拼圖碎片還不足以組合出正確的字母。計(jì)算機(jī)仍然需要額外的幫助才能破解手寫文本的秘密。想象一下,大家正在讀信,并在其中看到下面這句:
中間的單詞到底是“clear”還是“dear”?很難判斷,因?yàn)椤癲”與“cl”的筆畫構(gòu)成實(shí)際上完全相同。OCR軟件也面臨著同樣的問題,特別是在處理高度風(fēng)格化的文本時(shí)更是如此。以下圖為例:
在經(jīng)過不同的拼圖組合之后,OCR認(rèn)為可能的選項(xiàng)包括aimo、amio、aniio、aiino甚至是aiiiio。但這個(gè)詞實(shí)際上是anno,也就是拉丁語中的年。該軟件認(rèn)準(zhǔn)了a和o,但卻弄不清中間的四個(gè)豎到底該如何劃分。
為了解決這個(gè)問題,Codice Ratio團(tuán)隊(duì)不得不為自己的軟件提供一些常識(shí)性的知識(shí)。他們建立起一套包含150萬個(gè)經(jīng)過數(shù)字化的拉丁詞匯語料庫,并對(duì)其中的雙字母與三字母組合進(jìn)行了檢查。通過這種方式,他們確定了哪些字母組合較為常見,而哪些永遠(yuǎn)不會(huì)出現(xiàn)。通過將這些統(tǒng)計(jì)信息提供給OCR軟件,其能夠了解到不同字符串的具體出現(xiàn)概率,從而意識(shí)到nn比iiii的可能性高得多。
隨著這樣的改進(jìn),OCR終于能夠自行閱讀部分文本了。該團(tuán)隊(duì)決定為其提供一些來自梵蒂岡秘密歸案館的資料。這是一份超過18000頁的檔案集合,其中包括寫給歐洲國王的信件、關(guān)于法律問題的裁決以及其它信件。
最初的結(jié)果有好有壞。在迄今為止的全部轉(zhuǎn)錄文本中,有三分之一文檔中包含一處或多處拼寫錯(cuò)誤——意味著OCR作出了錯(cuò)誤的判斷。然而,該軟件仍然帶來了高達(dá)96%的手寫字母判斷準(zhǔn)確率。Merialdo表示,即使是“不完美的轉(zhuǎn)錄結(jié)果,亦可提供關(guān)于手稿內(nèi)容及背景的大量有價(jià)值信息!
經(jīng)過對(duì)AI更專業(yè)的訓(xùn)練后,它可以識(shí)別各大文明的古代文獻(xiàn)并電子化。
所以,為了給AI提升難度,青銅銘文了解一下?
梵蒂岡秘密檔案館(Vatican Secret Archives):由教皇保羅五世(Pope Paul V)主導(dǎo)創(chuàng)立,是歐洲教會(huì)中收藏檔案最豐富,最古老的檔案館。梵蒂岡秘密檔案館擁有著可追溯于1200年之前的總長(zhǎng)達(dá)53英里的書架,其中保存著各種古籍、歷史事件檔案、教皇的私人信件以及一些有關(guān)超自然現(xiàn)象和神秘學(xué)的資料。梵蒂岡秘密檔案館收錄了許多重要史料,除了將 Martin Luther 逐出教會(huì)的《教皇詔書》之外,還包括蘇格蘭瑪麗女王被處決之前發(fā)給教皇西克斯五世的函件。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
3月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
4月30日立即下載>> 【村田汽車】汽車E/E架構(gòu)革新中,新智能座艙挑戰(zhàn)的解決方案
-
5月15-17日立即預(yù)約>> 【線下巡回】2025年STM32峰會(huì)
-
即日-5.15立即報(bào)名>>> 【在線會(huì)議】安森美Hyperlux™ ID系列引領(lǐng)iToF技術(shù)革新
-
5月15日立即下載>> 【白皮書】精確和高效地表征3000V/20A功率器件應(yīng)用指南
-
5月16日立即參評(píng) >> 【評(píng)選啟動(dòng)】維科杯·OFweek 2025(第十屆)人工智能行業(yè)年度評(píng)選
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀(jì)”爆發(fā)至今,五類新物種登上歷史舞臺(tái)
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計(jì)算迎來商業(yè)化突破,但落地仍需時(shí)間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長(zhǎng)空間
- 8 地平線自動(dòng)駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營(yíng)收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機(jī)器人東風(fēng)翻身?