在日常生活中,我們經(jīng)常會(huì)看到一些十分漂亮、構(gòu)思精妙的照片,但某張照片背后的攝影師是誰(shuí)?我們有時(shí)卻并不清楚。

如今,人工智能(AI)可以幫助我們找到圖片背后的攝影師。

在一項(xiàng)新的國(guó)際跨學(xué)科研究中,研究人員通過(guò)使用人工智能算法分析近 60000 張二戰(zhàn)時(shí)期的歷史照片發(fā)現(xiàn),人工智能可以根據(jù)照片內(nèi)容來(lái)識(shí)別攝影師的身份。相關(guān)研究成果以論文的形式發(fā)表在科學(xué)雜志 IEEE Access上。

研究人員展示了使用現(xiàn)代神經(jīng)網(wǎng)絡(luò)分析圖像的優(yōu)勢(shì),以使機(jī)器可以自動(dòng)檢測(cè)各種場(chǎng)景中的人和物體,甚至可以根據(jù)圖像中的特征區(qū)分?jǐn)z影師,這些操作比任何人工檢查過(guò)程都要快得多。獲得的結(jié)果將有助于歷史學(xué)家、其他研究人員和專業(yè)人員在工作中使用歷史照片檔案來(lái)分析和比較特定攝影師的作品。

通過(guò)這項(xiàng)工作,研究人員證明了人工智能可以在某些方面幫助學(xué)者“追溯”歷史照片檔案的潛力。

令人驚訝

研究人員選擇了 23 名芬蘭戰(zhàn)地?cái)z影師作為實(shí)驗(yàn)對(duì)象。他們中的 20 人是芬蘭戰(zhàn)時(shí)照片檔案中圖像總數(shù)最高的攝影師,另外 3 人則是因?yàn)橛袑＜艺J(rèn)為他們的照片對(duì)這項(xiàng)攝影新聞研究很有趣。

他們提出并評(píng)估了機(jī)器學(xué)習(xí)可以幫助分析歷史圖像的幾個(gè)應(yīng)用領(lǐng)域,即分析場(chǎng)景中存在的對(duì)象、照片取景評(píng)估、攝影師分類以及評(píng)估它們的視覺(jué)相似性。

他們使用人工智能技術(shù)對(duì)這 23 位著名芬蘭攝影師在第二次世界大戰(zhàn)期間拍攝的照片進(jìn)行了識(shí)別,所用照片來(lái)自公開(kāi)可用的芬蘭戰(zhàn)時(shí)照片檔案庫(kù),其中包含約 160000 張 1939-1945 年間從芬蘭冬季戰(zhàn)爭(zhēng)、延續(xù)戰(zhàn)爭(zhēng)(第二次世界大戰(zhàn)期間芬蘭與蘇聯(lián)之間的兩場(chǎng)戰(zhàn)爭(zhēng)中的第二場(chǎng)戰(zhàn)爭(zhēng))和拉普蘭戰(zhàn)爭(zhēng)中拍攝的照片。

由于芬蘭戰(zhàn)時(shí)照片檔案中的數(shù)千張照片仍然沒(méi)有攝影師的名字,所以這項(xiàng)研究中選用的照片總數(shù)為 59000 多張。

這種自動(dòng)分析可以作為一種工具,以提供基于內(nèi)容的公共照片檔案的文本描述,比如丹麥抵抗博物館的照片檔案。今年 9 月生效歐盟可訪問(wèn)性指令(DIRECTIVE(EU)2016/2102),要求將圖像內(nèi)容的文字描述添加到網(wǎng)絡(luò)上的所有公共圖像中。

對(duì)此,論文作者之一 Alexandros Iosifidis 表示:“這讓我們非常驚訝,人工智能可以根據(jù)照片中的特征(如內(nèi)容和框架)識(shí)別攝影師�！�

準(zhǔn)確率最高可達(dá) 69．7%

在這項(xiàng)研究中,研究人員應(yīng)用了最先進(jìn)的目標(biāo)檢測(cè)模型和神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu),以獲得來(lái)自杰出二戰(zhàn)攝影師的統(tǒng)計(jì)數(shù)據(jù)和特征。

由于每個(gè)攝影師都有一定數(shù)量的重復(fù)圖像,這里研究人員根據(jù)拍攝時(shí)間將照片分成訓(xùn)練集和測(cè)試集,以確保描述同一事件的照片不會(huì)用于訓(xùn)練和測(cè)試。

研究中分析的照片顯示,一些攝影師具有非常獨(dú)特且容易識(shí)別的特征,而另一些則很難被人工智能識(shí)別。這一人工智能模型的分類準(zhǔn)確率區(qū)間為 20．1-69．7%,平均為 41．1%。

通過(guò)將識(shí)別結(jié)果與先前對(duì)檢測(cè)到的物體的分析進(jìn)行比較發(fā)現(xiàn),一些攝影師因?yàn)橛兄�特定的拍攝物體和喜好很容易被識(shí)別。因此,研究人員檢查了每個(gè)攝影師照片中的典型物體類別,并分析了他們捕捉和框定人的方式差異。

Roivainen 拍攝的照片中擁有最多的狗、馬和汽車,預(yù)測(cè)準(zhǔn)確率為 69．7%;Hollming 拍攝了大量滑雪照片,所有照片中只有幾把椅子出現(xiàn),即戶外照片多,預(yù)測(cè)準(zhǔn)確率為 51．4%;Manninen 拍攝的人物照片中的平均人數(shù)最高,椅子(即室內(nèi)照片)出現(xiàn)率最高,預(yù)測(cè)準(zhǔn)確率為 35．5%;SJ Blom 喜歡在城市環(huán)境中拍攝照片,預(yù)測(cè)準(zhǔn)確率為 50．4%。

研究結(jié)果證明,除了確定照片的作者身份之外,這些特征代表了模型對(duì)這些攝影師的整體視覺(jué)相似性和照片風(fēng)格相似性的認(rèn)知。此外,由于卷積神經(jīng)網(wǎng)絡(luò)可以在一定程度上從照片中識(shí)別攝影師,某些照片可以被認(rèn)為是特定攝影師的典型。其中最著名的攝影師是 Heikki Roivainen,他是芬蘭植物學(xué)教授,曾在延續(xù)戰(zhàn)爭(zhēng)期間擔(dān)任官方戰(zhàn)地?cái)z影師。

通往更多應(yīng)用的大門

在這項(xiàng)工作中,研究人員只使用了可公開(kāi)獲得的預(yù)處理對(duì)象檢測(cè)模型和基本照片信息,但他們認(rèn)為這一模型可用于大多數(shù)照片檔案,且提供了所有代碼、模型和數(shù)據(jù)注釋,以及如何使用它們的詳細(xì)描述。

例如,可以通過(guò)考慮攝影師的意圖和他們的照片質(zhì)量來(lái)進(jìn)一步增強(qiáng)攝影師分析。此外,可以通過(guò)考慮信息融合方法來(lái)增強(qiáng)對(duì)象檢測(cè)性能,以及改善較小尺寸對(duì)象的檢測(cè)。除了對(duì)象級(jí)分析,場(chǎng)景識(shí)別將有助于進(jìn)一步描述攝影師的特征。

在未來(lái),研究人員將專注于需要更專業(yè)方法的問(wèn)題,比如識(shí)別僅出現(xiàn)在芬蘭歷史照片或二戰(zhàn)期間的對(duì)象類別。他們的目標(biāo)是利用原始的文本照片描述來(lái)產(chǎn)生更完整的對(duì)象標(biāo)簽以及主題和事件識(shí)別。

這將有助于人們解決分析戰(zhàn)時(shí)照片時(shí)面臨的最大挑戰(zhàn)之一,即區(qū)分拍攝對(duì)象的不同狀態(tài)——照片中的人是活著的、受傷的還是死亡的。

這些更精細(xì)的結(jié)果最終可以幫助人們更詳細(xì)地描繪出傳統(tǒng)知識(shí)攝影師的目標(biāo)、素質(zhì)和性格。這項(xiàng)研究的目標(biāo)是在檔案中公布所有的結(jié)果,以幫助對(duì)檔案進(jìn)行不同類型的社會(huì)研究。

對(duì)于此次研究結(jié)果,作者之一、從事新聞攝影研究已有 25 年以上的 Anssi M?nnist? 認(rèn)為,“對(duì)照片蘊(yùn)含的內(nèi)容進(jìn)行大數(shù)據(jù)分析是我的一個(gè)長(zhǎng)期夢(mèng)想,我對(duì)這個(gè)項(xiàng)目的結(jié)果非常著迷。人工智能可以識(shí)別諸如照片中的框架和內(nèi)容的各個(gè)方面,這將在人文科學(xué)和社會(huì)科學(xué)領(lǐng)域中有著廣泛的應(yīng)用�！�