審計可以消除算法中的偏見嗎？_REV:Efforce

十多年來，記者和研究人員一直在撰寫有關依靠算法做出重大決策的危險的文章：誰被關押，誰得到工作，誰得到貸款，甚至誰優先使用COVID-19疫苗。

而不是消除偏差，一個接一個的算法已經將其編成代碼并永久存在，因為公司同時繼續或多或少地保護其算法不受公眾審查。

此后的一個大問題：我們如何解決這個問題？立法者和研究人員提倡進行算法審計，該算法將對算法進行剖析和壓力測試，以查看算法如何工作以及它們是否在執行既定目標或產生有偏見的結果。越來越多的私人審計公司聲稱這樣做。公司越來越多地求助于這些公司來審查其算法，尤其是當他們面對因偏向結果而受到批評的時候，但是目前尚不清楚此類審計是否實際上使算法的偏向性降低了，或者它們是否僅僅是良好的公關手段。

最近，當沃爾瑪和高盛等公司使用的受歡迎的招聘軟件公司HireVue面臨批評時，算法審計引起了廣泛關注，該公司通過視頻采訪評估候選人的算法存在偏見。

HireVue要求審計公司提供幫助，并在一月份在新聞稿中大肆宣傳了審計結果。

審計發現，該軟件的預測“在公平性和偏見問題方面做得很出色”，HireVue在一份新聞稿中說，引用了該公司聘請的審計公司O'Neil風險咨詢和算法審計。

HUSD審計報告：托管賬戶儲備超5.52億美元:據美國獨立審計公司的審計報告顯示，合規穩定幣HUSD截至美東時間2021年7月30日的流通量為551,925,036，托管在銀行的美元儲備為552,135,680美元（約5.52億美元）。根據最新數據，HUSD累計發行量已超過95億。

HUSD是由Stable Universal Limited發行，基于以太坊網絡的合規穩定幣，與美元1:1錨定。目前已經在數字資產交易、支付、DeFi等場景中落地。[2021/8/13 1:53:00]

但是，盡管對其流程進行了更改，但HireVue被廣泛指責為使用PR特技進行審計。

文章在快速公司，VentureBeat的，和麻省理工學院技術評論叫響公司mischaracterizing審計。

HireVue表示，通過公開發布該報告可以使審計透明，并補充說新聞稿規定該審計僅針對特定情況。

“盡管HireVue可以接受任何類型的審計，包括涉及對我們整個流程的審計，但ORCAA要求只關注一個用例，以便就該系統進行具體討論，”HireVue首席數據科學家LindseyZuloaga在接受采訪時說。一封電郵。“我們與ORCAA合作，選擇了一個具有代表性的用例，該用例與大多數HireVue候選人所進行的評估有很大的重疊。”

美國移民和海關執法局要求實現其財務審計自動化，包括跟蹤比特幣:美國移民和海關執法局（ICE）已經提出了一項要求，要求提供有關軟件的信息，以便該機構可以使用這些軟件來加強其財務審計管理能力，其中包括員工與比特幣的互動和使用情況。根據請求，該機構正在考慮在現有的一個開源應用程序上建立一個財務管理附加組件。希望是將現有的功能數字化，并增加一個集中會計系統，使與財務交易有關的工作流程自動化。在電話中，ICE詳細介紹了想要解決的示例場景，其中一個是數字貨幣用例，要求使用軟件跟蹤比特幣的轉賬、購買和費用。（The Block）[2020/10/3]

但是算法審計師也對HireVue關于審計的公開聲明不滿意。

人工智能解釋和偏差監控初創企業Arthur的聯合創始人利茲·奧沙利文表示：“在對營銷抵押品進行非常周到的分析時，它們破壞了整個領域的合法性。”

這就是算法審計作為消除偏差的工具的問題：公司可能會使用它們進行真正的改進，但可能不會。而且沒有任何行業標準或法規要求審計師或使用它們進行會計的公司。

什么是算法審計-它如何工作？

DFI.money：所有YFII Vault V2產品均已通過第三方智能合約審計:DFI.money（原YFII）官方發推表示，所有YFII Vault V2產品均已通過第三方智能合約審計。[2020/9/27]

好問題-這是一個非常不確定的字段。通常，審計以幾種不同的方式進行：通過查看算法的代碼和來自其結果的數據，或通過與員工的訪談和研討會來查看算法的潛在影響。

可以訪問算法代碼的審核程序使審閱者可以評估算法的訓練數據是否有偏見，并創建假設性場景來測試對不同人群的影響。

Twitter的機器學習道德總監兼算法審計公司Parity的創始人RummanChowdhury說，只有大約10到20家提供算法評論的知名公司。公司還可能擁有自己的內部審核團隊，負責在將算法發布給公眾之前研究其算法。

2016年，奧巴馬政府一份關于算法系統和公民權利的報告鼓勵了算法審計行業的發展。不過，聘請審計師仍然不是一種普遍的做法，因為公司沒有義務這樣做，而且根據多名審計師的說法，公司不希望受到審查或可能引起審查的潛在法律問題，特別是針對他們所銷售的產品。

動態 | Circle的USDC Monitor為其客戶審計1億個地址的100億美元加密貨幣:Circle旗下USDC穩定幣發行公司Grant Thornton披露，為客戶審計超過100億美元的加密貨幣，涉及多個區塊鏈的1億個地址。（Cryptoglobe）[2019/7/27]

“律師告訴我，'如果我們雇用您，發現有一個我們無法解決的問題，那么我們就失去了合理的可否認性，我們不想成為下一個卷煙公司，'”ORCAA的創始人CathyO'尼爾說。“這是我找不到工作的最常見原因。”

對于那些聘請審計師的人，“審計”應包含什么沒有標準。即使是擬議的紐約市法律也要求對聘用算法進行年度審核，也無法說明應如何進行審核。一位審核員的批準印章比另一位審核員的審核意味深遠。

而且由于審計報告也幾乎總是受保密協議約束，因此兩家公司無法相互比較自己的工作。

喬杜里說：“最大的問題是，隨著這一領域的利潤越來越豐厚，我們將發現，我們確實需要什么是審計標準。”“外面有很多人愿意對某事進行審計，建立一個外觀漂亮的網站并每天稱其為日，然后無條件獲取現金。”

InvestDigital智能合約通過區塊鏈安全公司審計 獲贊合約模范:5月30日，InvestDigital正式通過頂級區塊鏈安全技術機構安全審計，其智能合約安全、代碼編寫質量獲得審計團隊高度贊賞，被評值得推薦！近日，一系列EOS高危安全漏洞事件，讓智能合約安全問題重回大眾視野。InvestDigital此次通過審計并獲評優秀，充分顯示了團隊的技術實力和項目潛力！未來，InvestDigital團隊在深耕技術安全的同時，將加快打造數字資產投資生態。[2018/5/30]

一些審計師說，即使聘用了審計師，科技公司也并不總是能如愿以償。

Arthur的O'Sullivan說：“在這種情況下，商業秘密已足夠使這些算法能夠在晦暗黑暗的環境中運行，而我們不能擁有這種秘密。”

算法正義聯盟的審計師和研究合作者伊尼奧盧瓦·德博拉·拉吉表示，審計師處于無法訪問該軟件代碼并因此存在違反計算機訪問法律的風險。喬杜里說，當公司要求她允許他們在公開發布之前對其進行審查時，她拒絕了審計。

Zuloaga說，對于HireVue的審計，ORCAA采訪了利益相關者，包括HireVue員工，客戶，應聘者和算法公平專家，并確定了公司需要解決的問題。

ORCAA的評估并未考慮HireVue算法的技術細節，例如算法所訓練的數據或其代碼，盡管Zuloaga表示，該公司不以任何方式限制審計師的訪問權限。

Zuloaga說：“ORCAA要求提供有關這些分析的詳細信息，但他們的方法著眼于解決利益相關者如何受算法影響的問題。”

奧尼爾說，她無法對HireVue審核發表評論。

許多審核是在產品發布之前進行的，但這并不是說它們不會出現問題，因為算法不是憑空存在的。例如，當微軟建立一個聊天機器人時，一旦暴露給Twitter用戶，該聊天機器人便迅速變成種族主義者。

奧沙利文說：“一旦將其投入現實世界，即使有最好的意圖，也有可能出錯一百萬人。”“我們希望采用的框架還不夠完善。總有辦法使事情更加公平。”

因此，盡管并不常見，但一些預發行審核也將提供連續監視。奧沙利文說，這種做法在銀行和醫療保健公司中越來越流行。

奧沙利文的監視公司安裝了一個儀表板，該儀表板可實時查找算法中的異常情況。例如，如果公司的算法拒絕更多的女性貸款申請，它將在啟動后幾個月提醒公司。

最后，越來越多的對抗性審核機構，主要是由研究人員和一些記者進行的，他們未經公司的同意就對算法進行審查。例如，算法正義聯盟的創始人Raji和JoyBuolamwini，他們在亞馬遜Rekognition工具上的工作突顯了該軟件如何在沒有公司參與的情況下具有種族和性別偏見。

公司在審核后會修復其算法嗎？

無法保證公司將解決審計中提出的問題。

Raji說：“您可以進行質量審核，但仍然無法從公司那里獲得問責制。”“這需要大量精力來彌合獲取審計結果與將其轉化為責任之間的差距。”

公眾的壓力有時會迫使公司解決技術上的算法偏差-或未按技術公司的要求進行的審計，并由保密協議進行了審計。

拉吉說，性別陰影研究的研究發現了商業面部識別工具中的性別和種族偏見，并任命了IBM和Microsoft等公司來引發圍繞它的公開對話。

她說，但是圍繞算法的責任感很難引起關注。

盡管面部識別的偏見是可以解決的，但人們可以看到照片和錯誤率，并且可以理解種族歧視和性別偏見在技術中的后果，但與諸如利率算法偏見之類的東西聯系起來可能會更加困難。

拉吉說：“我們如此依賴公眾的呼聲，實在令人難過。”“如果公眾不理解，那就沒有罰款，也沒有法律上的影響。這讓它非常沮喪。”

那么如何改善算法審核呢？

在2019年，一群民主立法者提出了聯邦算法責任法案，該法案將要求公司對其算法進行審計，并解決審計在使用之前發現的任何偏見問題。

AIForthePeople的創始人MutaleNkonde是技術專家團隊的成員，該團隊幫助起草了該法案，并表示將為公司創建政府授權以進行審計并遵循這些審計。

她說：“就像藥物測試一樣，必須有某種類型的機構，例如食品和藥物管理局來研究算法。”“如果我們看到了不同的影響，那么該算法將不會投放市場。”

該法案從未付諸表決。

來自俄勒岡州的民主黨參議員羅恩·懷登表示，他計劃與參議員科里·布克和眾議員伊維特·克拉克重新引入該法案，并更新2019年版本。目前尚不清楚該法案是否將為審計制定標準，但這將要求公司根據其結果采取行動。

Wyden在一份聲明中說：“我同意研究人員，行業和政府需要努力建立公認的審計AI基準，以確保審計盡可能具有影響力。”“但是，在國會開始采取行動防止偏見污染自動化系統之前，要等到學術界達成完全共識的風險太大了。我認為我們需要在兩個方面都努力。”

Tags：REVEVUREVUORCKING FOREVERRevutoREVU價格Efforce

ETH