亞馬遜棄用了一個故意不招女性給簡歷評分的工具

路透社近日披露，亞馬遜在去年棄用了一個篩簡歷的 AI 工具——它好像發展出了性別歧視傾向，直接通過關鍵詞篩掉了一堆女應聘者。

信源告訴路透社，亞馬遜從 2014 年起就開始開發這個用於評價簡歷的程式，它會給所有簡歷按 1-5 星打分（就像在亞馬遜上給貨品評分一樣）。

“每個人都想要聖盃，” 一個信源說道，“他們真的就想把這個軟體發展成那樣的引擎，給它 100 個簡歷，它立馬給你排出最優秀的 5 個，我們直接僱傭他們就好了。”

可是，這個程式被人類投喂的訓練資料是過去 10 年亞馬遜收到的簡歷。它在回顧這些簡歷後挑選出 5 萬個關鍵詞用作評判標準，學習到的是人類 HR 招人的模式。

該模式顯然有不完善之處。在這個本來就由男性主導的科技界，招聘中有話語權的人因為種種原因更樂意招入男性。這也告訴了系統，具有男性特質的簡歷總會是公司青睞的選擇，因而它耿直地把帶有“女子的”（women’s）名詞降權（比如“女子象棋俱樂部”），直接篩掉兩所女校的畢業生，並且傾向使用“男性化”用語的簡歷，比如“執行”（executed）和“捕捉”（captured）。

工程師們在一年後發現了這個問題，立刻修改了程式，期望它在某些問題的判斷上對所有人都持中立”態度。然而這並不能保證軟體不會在其他地方、以別的形式歧視某個人群。而且亞馬遜還發現，軟體有時會留下根本不達標的候選人，智慧比較有限。他們最終在去年年初放棄了這個工具，因為高層對它的表現失去了信心。

有越來越多的公司開始使用 AI 軟體篩第一輪簡歷，據悉有 55% 的美國人力資源經理說 AI 會在 5 年內成為他們日常工作的助手。這個案例可能會給予他們一些啟示——機器從人類給予的材料中習得他們潛意識中的偏見，最終在“演算法偏見”的影響下區別對待被評判的物件，做出錯誤判斷或顯示錯誤結果。

這種機器偏見跨越各個領域：一個叫做 COMPAS 的系統通過計算罪犯再次犯罪的可能來給罪犯量刑提供指導，但是它的結果明顯表現了種族傾向，當一個白人犯罪老手和黑人新手同天被錄入系統時，機器認為黑人更可能在未來犯罪（兩年後，白人因搶劫罪被判刑 8 年，黑人未受任何指控）；今年 2 月，MIT 發現三大性別識別 AI（分別來自 IBM、微軟和曠視）判斷白人男性的準確率達到 99%，對黑人女性的準確率是 35%，因為在它們接受的識圖訓練裡，白人男性數量遠遠超過黑人女性。

深度學習公司 MetaMind Richard Socher 曾指出，AI 已經滲透了我們的生活，所以它們不帶任何偏見是至關重要的，沒人有意將系統設計得具有偏見，但是“如果用糟糕的資料去訓練它，它就會做出糟糕的判斷”。

令專家們感到擔憂的是，雖然有越來越多的系統顯出了偏見，但是很多公司和政府決策者，要麼過於相信系統，要麼對限制這種偏見並不感興趣。