算法歧視司法規制探討

本文是一篇法律論文，本文通過從司法層面切入，分析了反歧視司法在算法特質影響下有何新的問題。在本研究中，把握當前算法基于機器學習技術所帶來自我迭代的核心理念，并結合學界之前對于反算法歧視司法的相關研究，通過分析當前學界熱議的算法歧視案例為算法歧視司法提供了相關建議。
一、算法歧視的司法規制理論基礎
（一）算法歧視的定義
“歧視是指被法律禁止的、針對特定群體或個人實施的、其效果或目的在于對承認、享有和行使基本權利進行區別、排斥、限制或優待的任何不合理的措施，即歧視的表現形式是在相同的情況下無合理理由而恣意取消或損害特定群體或個人平等享有權利的任何區分、排除或選擇的措施?！薄毒蜆I與職業歧視公約》（國際勞工組織1958年第111號公約）中對歧視的定義：為本公約目的，“歧視”一語指：基于種族、膚色、性別、宗教、政治見解、民族血統或社會出身的任何區別、排斥或特惠，其效果為取消或損害就業或職業方面的機會平等或待遇平等。
算法歧視在實質內涵上與這些傳統歧視沒有區別，是在借用算法這一工具進行決策時對不同個體施加不合理的區別對待。在技術上說，算法是指將輸入轉換成輸出的計算步驟序列，是計算機在輸入數據、分析數據和輸出結果這一過程的概括。也就是說，算法歧視是以算法為手段實施的歧視行為，主要指依靠自動化決策系統對數據進行分析時，由于數據和算法本身的原因，對數據主體進行了不合理的差別對待，造成傳統意義上的歧視性后果。
算法歧視在我們的現實生活中經常會出現在就業招聘、出行服務、信息推送、信息搜索等領域。例如，在谷歌提供的廣告服務中，定向推送的算法決策導致男性往往會比女性瀏覽到更多的高薪招聘廣告；又如，一位患有雙向情感障礙的大學生想找一份擺放雜貨的工作，但因為他申請的百貨店都在使用同一個心理測試軟件來篩選應聘者，所以他被所有遞交申請的百貨店拒絕3；
........................
（二）算法歧視的產生原因
算法編程人員在算法的設計環節，通過一系列電腦代碼來賦予算法功能。而在這一過程中，編程人員可能會有意或無意間將自己的偏見寫入算法。同時由于算法是通過大數據來進行學習和決策，在采集數據的過程中不可避免地會有虛假的或者錯誤的數據，這些低質量的數據會直接影響算法的最終輸出結果。因此算法歧視產生主要來源于算法設計和數據輸入兩個方面，而這兩方面來源可以細分出三個主要原因：
一是輸入數據的樣本存在比例不均。在進行數據采集的過程中，在數據量確定且數量不大的情況下，我們可以對所有數據進行采集分析。但在算法進行學習的過程中，為了提高效率會采取抽樣的方式，隨機選擇數據進行輸入。而如果采用了隨機抽樣的方式進行樣本選擇，有一些在總體樣本中數量較少的數據便容易被忽略，從而導致輸出的結果更加傾向于樣本中的大比例群體。比如在圖片識別領域谷歌就犯過將黑人標記為大猩猩的歧視行為，這一行為的發生是因為黑人照片占數據總量比例太小，而黑人的特征沒有被算法識別為人的共同特征。

二是輸入數據存在人類社會的固有歧視。在算法程序的運行過程中，計算機遵循的“gigo”（garbage in，garbage out）定律，即“偏見進，偏見出”。算法用于學習的數據本身是現實社會的反映，在現實社會中存在的歧視也就伴隨著這些數據被輸入到算法之中，從而在算法的作用下得到了固化和加強。例如上文提到過的犯罪評估算法中，由于某一地區歷史犯罪率高，而算法通過分析歷史數據認為這一地區居民的犯罪率高，從而使得這一地區的居民受到的警察調查更為嚴格，造成了歧視性后果。
.......................
二、算法歧視的司法規制現狀
（一）基于算法參數的司法證據采集
算法歧視案件的司法證據采集聚焦于算法參數。算法參數的設計取決于其將要解決的問題與所要遵循的價值原則。在算法參數設計中，通過對算法參數功能的選擇，可在大數據客觀無誤的前提下，導致歧視發生。因此，算法參數的司法證據考察是認定歧視主觀意圖的前提。在這一階段，存在著兩個層面的問題，一方面，算法參數證據的舉證責任應當如何分配，是應當由算法使用主體承擔還是應當由受歧視方承擔；另一方面，算法參數證據應當以何種形式、何種程度呈現。
對于算法參數的舉證責任分配的問題。現階段法院對于算法歧視的舉證是以“誰主張、誰舉證”為舉證責任的分配方式。例如在意大利戶戶送有限責任公司算法歧視案中，原告需要證明被告通過算法參數設定中不考慮騎手不赴約的原因造成其接單數量減少，喪失優先選擇工作的機會，甚至間接地剝奪了其依憲法而享有的罷工權利。對于算法參數證據需要呈現為何種形式和程度，在法院司法實踐中有所不同。有的案件中，算法參數不僅僅需要以代碼形式呈現，還需要在此基礎上對其功能進行解釋性說明；而有的案件中，法院則要求原告通過專業的算法評估機構制作關于算法參數是否具有歧視性風險的評估報告，但并不要求原告去尋求算法參數的代碼設計與解釋性闡述。例如在盧米斯案中，法院為了審查案件的算法是否具有歧視性，要求將算法參數證據以compas評估報告的方式進行呈現。同時還需要compas評估機構對于算法參數設計的功能是否與原告所述歧視結果有著相關聯系進行說明。在國內的一系列案件中，除了百度在線網絡技術北京有限公司等與北京奇虎科技有限公司不正當競爭糾紛案中，原告方提供了詳細的參數證據，其余案件的原告（普通公民）都僅僅只能提供證明整個案件過程的表面證據，比方說付款截圖、通話記錄等等。
..............................
（二）基于傳統歧視理論的事實認定
傳統歧視的認定標準可以分為反分類歧視標準與差別性影響歧視標準。其中，“反分類歧視標準追求價值上的形式平等，強調不能基于民族、性別、宗教信仰等背景因素而對人區別對待?！痹谶@一歧視認定標準之上，是否具有主觀上的歧視意圖便是認定歧視與否的基本要點。相對的，追求實質平等的差別性影響歧視標準則主張以客觀上是否存在歧視結果作為構成歧視的基本判斷標準。
在對算法歧視的司法審查中，算法歧視的主觀意圖可大體分為算法使用者個體歧視與社會刻板印象歧視。故而，法院對于反分類歧視標準進行適用時一般會注意以下兩個方面的內容：一是由于算法歧視的高度隱蔽性特點，算法使用者所表現出的主觀故意不會非常明顯。二是算法中的刻板印象并不與算法歧視的認定具有必然性的聯系，只有該刻板印象作為算法決策的核心因素時該算法才會被法院認定為歧視性算法。就差別性影響歧視標準來說，法院在實踐中對于這一標準的考察分為以下幾個步驟：首先，需要原告提起訴訟，并對于算法的適用導致歧視結果，提供事實和證據來加以證明。其次，作為算法使用者的被告將針對原告所提出的主張加以反駁，而在這時往往被告會以算法使用在決策中具有相關性為由進行論證。例如，奇虎公司提出的“用戶體驗度”、三快科技公司提出的“費用動態調整”4等。再次，原告將需要反駁被告所提出的相關性豁免理由。在這一整體過程中，法院一般將以算法所涉決策對原告與其它利益相關方的影響為視角，判定歧視結果是否存在；
................................

三、算法歧視的司法規制困境
（一）算法公開障礙下的司法證據采集困難
司法實踐中，有關算法參數的證據采集繞不開的一大障礙便是算法公開的障礙。算法公開的障礙具體來說包括三個層面，它們分別是由于國家安全、社會正常運行秩序與私人主體信息權利保護等因素影響所造成的公開阻礙。本章將討論在司法證據采集過程中，各個法益沖突與權衡所導致的算法公開難題。
1.國家安全層面的障礙
從古至今，無論是在國內還是在國外，在治理國家的過程中所要討論的一個重要問題便是有關信息的公開與保密。在如今的算法時代，司法審判中可以將哪些算法參數進行公開，什么主體可以面對公開的內容以及算法參數可以公開到什么樣的程度，這些問題都應當在采集算法參數證據時進行重點考量。尤其是涉及到國家安全，算法公開就要慎之又慎。這方面世界上許多國家都相應的在國家安全政策以及相關立法層面進行了特別嚴格的法益保護。例如，在我國有著《中華人民共和國國家安全法》《中華人民共和國網絡安全法》《中華人民共和國保密法》以及《中華人民共和國數據安全法》，而在美國則有著《國家安全法案》《愛國者法案》等等一系列法律。但是這一系列法律層面的限制在一定程度上都使得在司法實踐中對于算法參數的公開更加困難。例如在機場的安全檢查中，為了提高機場安檢的效率，許多國家都采用了通過將乘客的個人歷史數據輸入算法來抽取特定的人群進行嚴格安檢的方法。這樣的安檢方法雖然提高了安檢的效率，但也容易造成到算法歧視問題。如果這樣的歧視事件被起訴到法院，那么法院在收集這類案件的歧視性算法參數證據時，是否可以公開算法從而獲取機場的抽樣參數呢？如果可以，不難想到在算法參數被法院披露后，該信息很容易被恐怖分子獲取。這樣一來，恐怖分子極容易因知悉了算法抽樣參數，從而通過規避算法抽樣特征的方法繞過機場的嚴格安檢。抑或是依據算法的內部分析邏輯通過增加試錯人數達到干擾算法認定的正確率，最終繞開嚴格的安檢。

2.社會正常運行層面的障礙

......................................
四、算法歧視的司法規制建議
（一）構建具有區分度的算法公開制度

..............................
（二）構建適應算法特性的歧視認定標準

............................
（三）構建算法相關主體明確的責任體系
........................
結論
對于統攝在算法規制研究下的算法歧視研究當前學界仍然存在許多爭論。本文通過從司法層面切入，分析了反歧視司法在算法特質影響下有何新的問題。在本研究中，把握當前算法基于機器學習技術所帶來自我迭代的核心理念，并結合學界之前對于反算法歧視司法的相關研究，通過分析當前學界熱議的算法歧視案例為算法歧視司法提供了相關建議。首先，在證據采集層面應當基于對算法的使用者以及算法的應用場景的分類，對具有公共性、私人性、商業性、非商業性的算法場景采取有區分度的算法參數揭示要求。其次，在歧視認定層面引入間接隱性歧視、刻板印象理論以及必要性豁免條件來修補傳統歧視認定標準。最后，基于算法歧視的特性設定一系列算法維度關聯與權利并以此提出對算法應用所涉各方的義務要求，從而為算法責任分配提供制度基礎。
本文所提供的建議大多聚焦于原理層面，雖說這樣做可以避免建議由于算法技術發展的日新月異而快速過時，但也不可否認的會出現過于抽象的問題，因此在論述時也盡量多地查找了現實生活中相關事件來加以佐證。同時，為了避免本研究陷入基于“ai+法律”的任意性組合導致的“泛人工智能化”的空談1，在行文中也一直將所謂的“人工智能”限定在當前算法機器學習技術所能達到的功能中，并圍繞著反歧視司法的整體流程來加以論證。此外，“現階段的人工智能并不具備內源性行為能力，沒有對主體間的權利義務關系造成沖擊2”，因此本文的討論并沒有過多參考將人工智能人格化的學術探討。
參考文獻（略）

本文收集整理于網絡，如有侵權請聯系客服刪除！