Algoritmy a tresty: Co vyžaduje řádný proces?

Existují významné potenciální přínosy z používání hodnocení rizik založených na datech při ukládání trestů. Například hodnocení rizik bylo správně schváleno jako mechanismus, který umožňuje soudům snížit nebo prominout tresty odnětí svobody pro pachatele, u nichž je velmi nepravděpodobné, že by se znovu dopustili trestného činu. Několik států nedávno přijalo zákony vyžadující použití nástrojů hodnocení rizik. A v roce 2017, Americký právní institut , vysoce respektovaná organizace, která po mnoho desetiletí pracovala na vyjasnění, modernizaci a dalším vylepšení práva, schválený návrh konečného návrhu vzorového trestního zákoníku: rozsudky. Dokument konkrétně uznává hodnotu odsouzení na základě důkazů se vstupy z pojistně-matematických nástrojů, které odhadují relativní rizika, která jednotliví pachatelé představují pro veřejnou bezpečnost svým budoucím trestným činem.

Spolu s výhodami však rostoucí používání nástrojů pro hodnocení rizik založených na algoritmech vyvolává důležité náležité procesní obavy. Řádný proces je základním ústavním právem poskytovaným prostřednictvím pátého a čtrnáctého dodatku, které oba chrání lidi před zbavením života, svobody nebo majetku bez řádného soudního řízení. Klíčovou podkategorií řádného procesu je procesní řádný proces, jehož cílem je zajistit spravedlnost v soudních řízeních, která ohrožují život, svobodu nebo majetek.

Když se v trestním řízení používají nástroje pro hodnocení rizik založené na algoritmech, mohou nastat problémy s řádným procesem, pokud jde o práva pachatelů napadnout přesnost a relevanci informací použitých při vynesení rozsudku. Zdůrazňujeme dvě z těchto výzev. První se týká práva pachatele na informace týkající se algoritmu použitého k výpočtu skóre rizik a druhý se týká práva pachatele vědět, jaká jsou tato skóre.



Obavy s proprietárním hodnocením rizik

V květnu 2013 se Eric Loomis u obvodního soudu pro okres La Crosse ve Wisconsinu přiznal k obvinění z pokusu o útěk před dopravním důstojníkem a řízení motorového vozidla bez souhlasu majitele. Před slyšením Loomise v srpnu 2013 byly údaje o něm vloženy do nástroje pro hodnocení rizik známého jako COMPAS (Corectional Offender Management Profiling for Alternative Sanction). Zatímco algoritmus COMPAS používaný k vytváření skóre rizik je proprietární, výstup nikoli. Loomisova zpráva COMPAS naznačila vysoké riziko recidivy.

Při slyšení v srpnu 2013 byl Loomis odsouzen k mnohaletému vězení. S odkazem na COMPAS ve svém rozhodnutí soudce řekl:

Prostřednictvím hodnocení COMPAS jste identifikováni jako jednotlivec, který je pro komunitu vysoce ohrožen. Pokud jde o zvážení různých faktorů, vylučuji probaci kvůli závažnosti trestného činu a protože vaše historie, vaše historie dohledu a nástroje hodnocení rizik, které byly použity, naznačují, že jste extrémně ohroženi znovu urazit.

Poté, co se Loomis neúspěšně domáhal nápravy po odsouzení u okresního soudu, odvolal se k Nejvyššímu soudu ve Wisconsinu s tím, že spoléhání se na COMPAS je porušením jeho práv na řádný proces, protože vlastnická povaha COMPAS brání žalovanému zpochybnit vědeckou platnost posouzení. .

V roce 2016 Nejvyšší soud ve Wisconsinu rozhodl v neprospěch Loomise, nález že při správném používání s vědomím omezení a upozornění . . . zohlednění posouzení rizik COMPAS při vynesení rozsudku neporušuje právo obžalovaného na řádný proces. A jak soud napsal, zatímco soudce při slyšení o odsouzení zmínil hodnocení rizika COMPAS, nebylo rozhodující při rozhodování o tom, zda by měl být Loomis uvězněn, o přísnosti trestu nebo zda na něj může být bezpečně a účinně dohlíženo v komunitě. . Loomis se poté odvolal k Nejvyššímu soudu USA, který v červnu 2017 jeho případ odmítl projednat.

Když je k vyhodnocení rizik použit proprietární algoritmus, otázka náležitého procesu by se neměla týkat toho, zda bylo hodnocení rizik – abychom použili termín v rozhodnutí Nejvyššího soudu ve Wisconsinu – určující, ale zda a jak bylo použito. Pro Loomis byl výstup COMPAS údajně použit pouze k posílení posouzení ostatních uvažovaných faktorů. Nejvyšší soud ve Wisconsinu uvedl, že odsuzující soud by uložil přesně stejný trest i bez něj. V souladu s tím jsme určili, že posouzení společnosti COMPAS obvodním soudem v tomto případě neporušilo Loomisova práva na řádný proces.

Tato logika vede ke znepokojivému paradoxu. Na jedné straně, pokud je použití patentovaného nástroje hodnocení rizik při ukládání trestu vhodné pouze v případě, že by bez něj bylo dosaženo stejného rozhodnutí o odsouzení, naznačuje to, že hodnocení rizik nehraje při rozhodování o probaci nebo trestu absolutně žádnou roli. Pokud je to tak, tak proč to vůbec používat? Pokud to na druhou stranu může mít potenciální dopad – navzdory opačnému tvrzení soudu ve Wisconsinu – pak nelze otázku řádného procesu odsunout stranou.

Právo pachatelů znát své rizikové skóre

Další důležitá otázka řádného procesu se týká toho, jaké informace jsou pachatelům poskytovány – či nikoli – o jejich skóre rizika. V nedávném případ v Kansasu se John Walls zastal proti obvinění z trestného činu. Poté byl vyhodnocen pomocí nástroje pro hodnocení rizik LSI-R (Level of Service Inventory-Revised). Když požádal o zobrazení výsledků, dostal přístup pouze k titulní stránce shrnující jeho obecné skóre; jeho žádost o zobrazení konkrétních otázek a odpovědí a skóre souvisejících s těmito otázkami byla zamítnuta.

Poté, co byl okresním soudem odsouzen k vysoce kontrolované formě probace obecně používané pro pachatele se středním nebo vyšším rizikem, napadl svůj trest u odvolacího soudu v Kansasu a tvrdil, že odmítnutí sdělit podrobnosti o jeho LSI-R posouzení porušilo jeho právo na spravedlivý proces. Odvolací soud rozhodl ve prospěch Wallse a poznamenal, že odepření přístupu Wallsovi k jeho úplnému posouzení LSI-R mu znemožnilo zpochybnit přesnost informací použitých při stanovení podmínek jeho zkušební doby. Původní trest byl zrušen a případ byl vrácen k novému odsouzení.

Zásady

Americké ministerstvo spravedlnosti má uznal že použití pojistně-matematických rizik, které odsuzující soud používá, vyvolává nové ústavní otázky. A otázky nejsou jen ústavní – existují také zásadní politické a technologické problémy. Jak ilustrují dva výše uvedené příklady, nedostatek transparentnosti může nastat jak ve vztahu k tomu, jak se počítá rizikové skóre, tak v tom, zda k nim má pachatel přístup. Dalším komplikujícím faktorem jsou práva na obchodní tajemství, kterých se společnosti, které vytvářejí vlastní nástroje pro hodnocení rizik, budou dovolávat při argumentaci, že podrobnosti o jejich algoritmech nemohou být zveřejněny.

Otázky, které budou v nadcházejících letech vyvstávat stále častěji, zahrnují: Do jaké míry podrobností o algoritmu hodnocení rizik a jeho výstupech má pachatel právo na přístup? Jsou nutné nové zákony, které by tento přístup usnadnily? Jak by se měla řešit práva na obchodní tajemství společností, které vyrábějí nástroje pro hodnocení rizik? A v budoucnu, až se hodnocení rizik na základě umělé inteligence stane běžným, jak bude dynamická povaha algoritmů umělé inteligence tyto otázky dále komplikovat?

Stejně jako u mnoha problémů na křižovatce práva, politiky a technologie neexistují jednoduché odpovědi. Ale základním předpokladem v dialogu bude muset být, že právo na řádný proces nemůže být vedlejší škodou při přijímání stále sofistikovanějších algoritmických technologií hodnocení rizik.