大蕭條時(shí)期，美國聯(lián)邦政府成立了Home Owners’ Loan Corporation（HOLC）來提供低息房屋貸款，聯(lián)邦住房管理局（FHA）為私人銀行的抵押貸款提供擔(dān)保。由于HOLC的運(yùn)營人員不了解當(dāng)?shù)刭J款者的情況，所以他們構(gòu)建了“住宅安全地圖”，將街區(qū)按A到D等級進(jìn)行分級，D等級的街區(qū)采用紅色標(biāo)記，表示這一區(qū)域?qū)儆诓涣几唢L(fēng)險(xiǎn)等級。這些“紅線”地圖也被FHA和私人企業(yè)所使用，并逐漸蔓延至銀行、保險(xiǎn)公司和零售商店，從而導(dǎo)致了服務(wù)受限和街區(qū)惡化的惡性循環(huán)。

許多私人銀行都有自己的紅線地圖。例如，在加州，Security First National Bank創(chuàng)建了洛杉磯街區(qū)評級系統(tǒng)。洛杉磯市中心的大多數(shù)街區(qū)都被標(biāo)有紅線，通常還會(huì)有關(guān)于“日本人和黑人集中地”的明確標(biāo)記。Boyle Heights被標(biāo)記為“充滿了各種顛覆分子的蜂巢”。Watts也被標(biāo)記為紅色，因?yàn)樗�不僅是黑人和日本人的聚集地，德國人、希臘人、意大利人和蘇格蘭人都集中在這一區(qū)域。

1968年的《公平住房法》禁止了紅線劃分行為。然而，在大數(shù)據(jù)時(shí)代，就業(yè)、保險(xiǎn)和貸款申請?jiān)絹碓蕉嗟厥艿綌?shù)據(jù)挖掘模型的評估，這些模型并不公開，但卻可能產(chǎn)生更為有害的影響，因?yàn)樗鼈儾皇艿乩磉吔绲南拗�，而且公眾也無法得知其內(nèi)部原理。

即使是編寫代碼的程序員，也無法確切知道黑盒算法是如何進(jìn)行評估的，但是幾乎可以肯定的是，這些算法直接或間接地考慮了性別、種族和性取向等因素，這就是我們所稱的高科技紅線。因?yàn)橐粋�(gè)人具有黑盒算法發(fā)現(xiàn)的與行為統(tǒng)計(jì)相關(guān)的群體特征，就對他進(jìn)行懲罰，是不道德的。

許多評估求職者的算法會(huì)識(shí)別當(dāng)前員工特征的統(tǒng)計(jì)模式。一家公司的首席科學(xué)家承認(rèn)其軟件選擇的一些因素是沒有意義的。例如，該軟件發(fā)現(xiàn)其數(shù)據(jù)庫中有幾個(gè)優(yōu)秀的程序員經(jīng)常訪問一個(gè)特定的日本漫畫網(wǎng)站，所以它認(rèn)定訪問這個(gè)網(wǎng)站的人可能是優(yōu)秀的程序員。這名首席科學(xué)家說，“顯然，這不是因果關(guān)系”，但他認(rèn)為這仍然有用，因?yàn)檫@一結(jié)果具有很強(qiáng)的統(tǒng)計(jì)相關(guān)性。這是一個(gè)令人感到痛苦的例子，向我們展示了一種沒有根據(jù)的想法，即使是那些應(yīng)該更了解統(tǒng)計(jì)模式的人，也會(huì)認(rèn)為統(tǒng)計(jì)模式比常識(shí)更為重要。

這家公司的首席執(zhí)行官還表示，公司的算法考慮了幾十個(gè)因素，并且隨著相關(guān)性的不斷變化，不斷改變被認(rèn)為重要的變量。她認(rèn)為不斷變化的變量列表顯示了模型的強(qiáng)大和靈活性。她還提出了一個(gè)似乎更令人信服的解釋，即該算法捕捉了短暫存在的巧合相關(guān)，即是這些相關(guān)沒有什么價(jià)值。如果存在因果關(guān)系，它們是不會(huì)短暫存在的，它們會(huì)持續(xù)存在且有用。一種利用巧合的相關(guān)性來評估求職者的算法幾乎肯定是有偏見的。如果一名墨西哥裔美國女性并不喜歡受白人男性軟件工程師歡迎的日本漫畫網(wǎng)站，那她還是否會(huì)被判定為優(yōu)秀的程序員？

同樣，亞馬遜最近放棄了開發(fā)定制算法來評估申請人簡歷的嘗試。在過去十年里，亞馬遜利用求職者簡歷對這些算法進(jìn)行了訓(xùn)練，結(jié)果顯示算法更偏向亞馬遜過去雇傭的求職者（其中大多數(shù)都是男性）。來自女子學(xué)院的申請人會(huì)被降級，因?yàn)樵趤嗰R遜工作的男性沒有去過這些學(xué)院。來自女性運(yùn)動(dòng)隊(duì)的申請人也會(huì)遇到同樣的情況。

一種評估貸款申請的中國算法著重關(guān)注手機(jī)使用情況，例如來話和去話的應(yīng)答頻率，以及用戶是否保持手機(jī)滿電。但問題是，這些指標(biāo)中哪一個(gè)可以成為電話用戶信用風(fēng)險(xiǎn)良好的標(biāo)志？你所能感受到的不確定性都表明了這些標(biāo)記存在任意性。

這些巧合關(guān)聯(lián)都是暫時(shí)和無意義的，但卻可能存在歧視。當(dāng)這種信用評級系統(tǒng)首次在中國披露時(shí)，接聽所有來電被認(rèn)為是一種良好信用風(fēng)險(xiǎn)的信號(hào)。但這很可能也有偏見，比如某些宗教會(huì)規(guī)定不應(yīng)該在某天或某個(gè)時(shí)間段接聽電話。

社交媒體平臺(tái)上收集的數(shù)據(jù)為公司提供了一種新的可疑定性見解。英國最大的汽車保險(xiǎn)公司Admiral Insurance曾計(jì)劃推出第一次汽車報(bào)價(jià)服務(wù)，該報(bào)價(jià)將基于對申請人Facebook帖子的計(jì)算分析。例如詞匯選擇，以及他喜歡邁克爾·喬丹還是倫納德·科恩。然后，像其他黑盒算法一樣，它們會(huì)隱藏在黑盒中進(jìn)行分析。Facebook帖子中肯定存在偏見。一個(gè)黑人男性喜歡邁克爾·喬丹，而一個(gè)白人女性喜歡倫納德·科恩，這之間的公平如何決定？如果Facebook上與性別、種族、族裔或性取向相關(guān)的詞匯選擇碰巧與汽車保險(xiǎn)索賠相關(guān)呢？

在審前保釋決定、審后判決和定罪后假釋決定中，算法審判越來越普遍。一名開發(fā)人員寫道，“這種方法完全就是黑箱操作，也沒有人為此負(fù)責(zé)。”為了表示嚴(yán)重程度，他舉了一個(gè)令人震驚的例子：“如果我選用不同大小的預(yù)測值，它會(huì)給出你沒有預(yù)料到的結(jié)果�！蔽覀儫o法預(yù)料到的事情是沒有意義的，但它們卻巧合相關(guān)了。

一些預(yù)測因素很可能代表了性別、種族、性取向和其他不應(yīng)該考慮的參數(shù)。人們不應(yīng)該因?yàn)樾詣e、種族或性取向而被重罰保釋金，或被判不合理的徒刑，或被拒絕假釋。

算法問題可能導(dǎo)致的未來可以在中國看到，中國政府正在實(shí)施一個(gè)全國性的社會(huì)信用評分系統(tǒng)，旨在跟蹤人們買什么、去哪里、做什么，以及其他任何可能表明一個(gè)人不值得信任的事情。該國的安全部門也在大力投資人臉識(shí)別技術(shù)，從而給信用評分類工具帶來新的數(shù)據(jù)。兩位中國研究人員最近報(bào)告說，他們可以通過將計(jì)算算法應(yīng)用于掃描的面部照片，以89．5％的準(zhǔn)確率預(yù)測一個(gè)人是否是罪犯。他們的項(xiàng)目發(fā)現(xiàn)了一些用于預(yù)測犯罪的鑒別性結(jié)構(gòu)特征，如嘴唇曲率、眼睛內(nèi)角距離和所謂的鼻口角度。

如果他們只是把那些看起來像罪犯的人關(guān)進(jìn)拘留所呢？這會(huì)有什么害處？他們將不得不呆在那里，直到他們通過長期的康復(fù)項(xiàng)目。但是有些人會(huì)是無辜的，那么從長遠(yuǎn)來看，這將如何對他們產(chǎn)生不利影響？

我們能做些什么來監(jiān)管這些系統(tǒng)？可以通過法律要求提高透明度。公民應(yīng)該能夠檢查算法使用數(shù)據(jù)的準(zhǔn)確性，并且應(yīng)該能夠獲得足夠的信息來測試算法是否有非法的不同影響。

幸運(yùn)的是，人們越來越認(rèn)識(shí)到算法對我們生活的影響。皮尤研究中心上周公布的一項(xiàng)調(diào)查顯示，許多美國人擔(dān)心當(dāng)計(jì)算機(jī)用數(shù)學(xué)來做決定時(shí)會(huì)存在偏見和不公平，比如分配個(gè)人財(cái)務(wù)數(shù)字，進(jìn)行犯罪風(fēng)險(xiǎn)評估，或者篩選求職者的簡歷和面試。皮尤的調(diào)查還發(fā)現(xiàn)公眾對人工智能評分的關(guān)注在很大程度上取決于環(huán)境：大約30％的人認(rèn)為公司可以根據(jù)顧客的個(gè)人和行為數(shù)據(jù)提供交易和折扣。但是大約50％的人認(rèn)為刑事司法系統(tǒng)可以使用算法來預(yù)測假釋犯是否會(huì)犯下另一項(xiàng)罪行。

我們對計(jì)算機(jī)的信心是如此地盲目，以至于我們愿意讓算法來拒絕工作申請和貸款申請，設(shè)定保險(xiǎn)費(fèi)率，決定刑期，并把人關(guān)進(jìn)拘留所？只因他們碰巧具有算法選擇的不相關(guān)特征，就偏袒一些人，卻虐待其他人。這根本不是進(jìn)步，這是過去那個(gè)存在不合理歧視時(shí)代的回歸。