來自美國俄勒岡州立大學工程學院和Adobe公司的科學家攜手，開發出一種用于訓練人工智能（AI）的新技術FairDeDup。該技術不僅能降低訓練成本，而且有望減少AI系統的社會偏見。研究團隊已經在近期于美國西雅圖舉行的IEEE/CVF計算機視覺和模式識別會議大會上介紹了FairDeDup算法。該會議是由電子電氣工程師學會（IEEE）計算機協會和計算機視覺基金會（CVF）共同主辦的全球頂級學術會議。
FairDeDup是“公平重復數據消除”的縮寫，指從用于訓練AI系統的數據中刪除冗余信息，從而大幅降低訓練成本。研究人員表示，之所以將新方法命名為FairDeDup，也是因為它基于此前一種具有成本效益的方法SemDeDup。SemDeDup可以用更少的資源對AI進行訓練。但這一過程會強化AI的社會偏見。在最新研究中，他們通過引入公平機制，對SemDeDup進行了改進，FairDeDup因此面世。
FairDeDup的工作原理是：通過一種名為“修剪”的過程，細化從網絡上收集的圖像字幕數據集?！靶藜簟敝高x擇能代表整個數據集的數據子集。該工具可以感知內容，并決定保留或刪除哪些數據。結果顯示，FairDeDup刪除了冗余數據，同時結合了可控的、人為定義的多樣性維度，從而減少偏見。
