任何AI應用的成功都與訓練數(shù)據(jù)密切相關。您不僅需要合適的數(shù)據(jù)質(zhì)量和合適的數(shù)據(jù)量，還要主動確保您的AI工程師沒有將自己的潛在偏誤傳遞到開發(fā)的產(chǎn)品上。如果工程師任由自己的世界觀和成見影響數(shù)據(jù)集——也許提供僅限于某個統(tǒng)計人群或焦點的數(shù)據(jù)，依賴AI解決問題的應用系統(tǒng)將同樣有偏誤、不準確、用處不大。

簡而言之，我們必須不斷檢測并消除AI應用系統(tǒng)中的人為偏誤，才能讓這項技術發(fā)揮潛力。我預計，隨著AI繼續(xù)從一種比較新的技術迅速變成一種完全無處不在的技術，偏誤審查力度只會有增無減。但必須克服人為偏誤才能真正實現(xiàn)這一幕。Gartner在2018年的一份報告預測，到2030年，85％的AI項目將提供數(shù)據(jù)或算法中內(nèi)置的偏誤或管理那些部署的團隊中存在的偏誤所導致的錯誤結果。事關重大；錯誤的AI會導致聲譽嚴重受損，并給基于AI提供的錯誤結論做出決策的企業(yè)帶來慘重的失敗后果。

AI偏誤有多種形式。源自開發(fā)人員的認知偏誤會影響機器學習模型和訓練數(shù)據(jù)集。實際上，偏誤固化到算法中。不完整的數(shù)據(jù)本身也會產(chǎn)生偏誤——如果信息因認知偏誤而被忽略，尤其如此。一個在沒有偏誤的情況下訓練和開發(fā)的AI投入使用時，其結果仍有可能受到部署偏誤的影響。匯總偏誤是另一種風險，當針對AI項目做出的小選擇對結果的完整性產(chǎn)生巨大的集體影響時，就會出現(xiàn)這種情況。簡而言之，任何AI環(huán)節(jié)都有許多固有的步驟會被引入偏誤。

為了實現(xiàn)可信賴的依賴AI的應用系統(tǒng)，可以面對無數(shù)用例（和用戶）始終如一地獲得準確的輸出，組織就需要有效的框架、工具包、流程和政策來識別和積極減少AI偏誤�？捎玫拈_源工具有助于測試AI應用，看看數(shù)據(jù)中是否存在特定的偏誤、問題和盲點。

AI框架。旨在保護組織免受AI偏誤風險的框架可以引入制衡機制，最大限度地減少整個應用開發(fā)和部署過程中的不當影響�？梢允褂眠@些框架，將可信無偏誤實踐的衡量基準實現(xiàn)自動化，并植入到產(chǎn)品中。

這里有幾個例子：

工具包。組織還應該利用可用的工具包來識別和消除機器學習模型中存在的偏誤，并識別機器學習管道中的偏誤模式。以下是一些特別有用的工具包：

流程和政策。組織可能需要引入專門設計的新流程，以消除AI的偏誤并加大對AI系統(tǒng)的信任。這些流程定義了偏誤度量指標，并根據(jù)那些標準定期徹底地核查數(shù)據(jù)。政策應該發(fā)揮一種類似的作用，建立治理機制，要求嚴謹?shù)膶嵺`和謹慎的行動，以最大限度地減少偏誤和解決盲點。

那些采取措施以減少AI系統(tǒng)中偏誤的組織可以將這種潛在的危機轉化為獲取競爭差異化優(yōu)勢的機會。倡導反偏誤措施可以使客戶對AI應用系統(tǒng)抱有更大的信心和信任，從而使組織與眾不同。今天尤其如此，而隨著AI遍地開花，將更是如此。在追求無偏誤的AI方面確保透明度有利于企業(yè)發(fā)展。

先進的新AI算法正將AI帶入新領域——從合成數(shù)據(jù)生成到遷移學習、強化學習、生成式網(wǎng)絡和神經(jīng)網(wǎng)絡，不一而足。這每一個令人興奮的新應用對偏誤影響都會有各自的敏感性，必須先解決這些問題，這些技術才會蓬勃發(fā)展。

就AI偏誤而言，錯不在AI而在我們自己。應采取所有可用的措施以消除AI中的人為偏誤，使組織能夠開發(fā)出更準確、更有效、對客戶更有吸引力的應用系統(tǒng)。

原文標題：AI bias is prevalent but preventable — here’s how to root it  out，作者：Shomron Jacob， Iterate．a(chǎn)i

【51CTO譯稿，合作站點轉載請注明原文譯者和出處】

來源：51CTO布加迪