Hvad er fair?
Det virker som et simpelt spørgsmål, men det er et uden enkle svar. Det er især tilfældet i den arkæne verden af kunstig intelligens (AI), hvor forestillingen om smarte, følelsesløse maskiner, der træffer beslutninger vidunderligt fri for bias, falmer hurtigt.
Måske den mest offentlige beskadigelse af denne opfattelse kom med en ProPublica-efterforskning fra 2016, der konkluderede, at de data, der driver et AI-system, der blev brugt af dommerne til at afgøre, om en domfelt kriminel sandsynligvis begår flere forbrydelser, syntes at være partisk mod minoriteter. Northpointe, firmaet, der oprettede algoritmen, kendt som COMPAS, bestred ProPublicas fortolkning af resultaterne, men sammenstødet har givet anledning til både debat og analyse om, hvor meget selv de smarteste maskiner skal have tillid til.
”Det er et rigtig varmt emne - hvordan kan du gøre algoritmer retfærdige og pålidelige, ” siger Daniel Neill. ”Det er et vigtigt spørgsmål.”
Neill befinder sig nu midt i den diskussion. En computer videnskabsmand ved Carnegie Mellon University, han og en anden forsker, Will Gorr, udviklede et kriminelle forudsigelses software værktøj kaldet CrimeScan for flere år siden. Deres oprindelige koncept var, at voldelig kriminalitet på nogle måder er som en smitsom sygdom, at den har tendens til at bryde ud i geografiske klynger. De troede også på, at mindre forbrydelser kan være en forvirrende for mere voldelige, så de opbyggede en algoritme ved hjælp af en lang række "førende indikator" -data, herunder rapporter om forbrydelser, såsom enkle overgreb, hærværk og uordentlig adfærd og 911 opfordrer til ting som skud, eller en person, der ses med et våben. Programmet inkorporerer også sæson- og ugens tendenser plus kortvarige og langvarige satser på alvorlige voldelige forbrydelser.
Tanken er at spore gnister, før en brand udbryder. ”Vi ser på mere mindre forbrydelser, ” siger Neill. ”Enkle overfald kunne hærde til skærpede overfald. Eller du har måske et eskalerende mønster af vold mellem to bander. ”
At forudsige hvornår og hvor
CrimeScan er ikke den første software designet til det, der er kendt som forudsigelig politiarbejde. Et program kaldet PredPol blev oprettet for otte år siden af UCLA-forskere, der arbejder med Los Angeles Police Department, med målet om at se, hvordan videnskabelig analyse af kriminalitetsdata kunne hjælpe med at få mønstre for kriminel adfærd. PredPol, der nu bruges af mere end 60 politidepartementer rundt omkring i landet, identificerer områder i et kvarter, hvor det er mere sandsynligt, at alvorlige forbrydelser vil forekomme i en bestemt periode.
Virksomheden hævder, at dets forskning har fundet, at softwaren er dobbelt så nøjagtig som menneskelige analytikere, når det kommer til at forudsige, hvor forbrydelser vil ske. Ingen uafhængig undersøgelse har imidlertid bekræftet disse resultater.
Både PredPol og CrimeScan begrænser deres fremskrivninger til, hvor forbrydelser kan forekomme, og undgå at tage det næste skridt med at forudsige, hvem der måske begår dem - en kontroversiel tilgang, som Chicago by har bygget op omkring en "strategisk emneliste" over mennesker, der mest sandsynligt vil være involveret i fremtidige skydeoptagelser, enten som skyder eller offer.
American Civil Liberties Union [ACLU], Brennan Center for Justice og forskellige borgerrettighedsorganisationer har alle rejst spørgsmål om risikoen for, at bias bliver bagt i softwaren. Historiske data fra politiets praksis, kritiserer kritikere, kan skabe en feedback-loop, hvorigennem algoritmer træffer beslutninger, der både afspejler og forstærker holdninger til, hvilke kvarterer der er "dårlige", og som er "gode." Derfor AI baseret primært på arrestationsdata bærer en højere risiko for partiskhed - det afspejler mere politiets beslutninger i modsætning til faktiske rapporterede forbrydelser. CrimeScan for eksempel holder sig væk fra at forsøge at forudsige forbrydelser, som Neill udtrykker, "du vil kun finde, hvis du kigger efter dem."
”Jeg kan ikke sige, at vi er fri for bias, ” siger Neill, ”men det er bestemt mere reduceret end hvis vi forsøgte at forudsige besiddelse af narkotika.”
Så er der den anden side af feedbackløkken. Hvis et forudsigeligt værktøj rejser forventningerne til forbrydelser i et bestemt kvarter, vil politiet, der patruljerer der, være mere aggressive til at arrestere?
”Der er en reel fare med enhver form for datadrevet politi at glemme, at der er mennesker på begge sider af ligningen, ” bemærker Andrew Ferguson, professor i jura ved University of District of Columbia og forfatter til den bog, The Rise of Big Data Policing: Surveillance, Race, and the Future of Law Enforcement. ”Officere skal være i stand til at oversætte disse ideer, der antyder, at forskellige kvarterer har forskellige truselscore. Og hvis du fokuserer på antallet i stedet for mennesket foran dig, ændrer du dit forhold til dem. ”
Inde i den sorte kasse
Realiteten er, at kunstig intelligens nu spiller en rolle - omend ofte i baggrunden - i mange beslutninger, der påvirker hverdagen - fra at hjælpe virksomheder med at vælge, hvem de skal ansætte til at sætte kredit score til evaluering af lærere. Ikke overraskende har det intensiveret den offentlige kontrol af, hvordan maskinlæringsalgoritmer oprettes, hvilke utilsigtede konsekvenser de medfører, og hvorfor de generelt ikke udsættes for meget gennemgang.
For det første er meget af softwaren proprietær, så der er lidt gennemsigtighed bag, hvordan algoritmerne fungerer. Og når maskinlæring bliver mere sofistikeret, vil det blive stadig vanskeligere for selv de ingeniører, der oprettede et AI-system til at forklare de valg, det gjorde. Den uigennemsigtige beslutningstagning, med lidt ansvarlighed, er en konsekvens af det, der er blevet kendt som "black box" -algoritmer.
”Offentligheden får aldrig en chance for at revidere eller diskutere brugen af sådanne systemer, ” siger Meredith Whittaker, en medstifter af AI Now Institute, en forskningsorganisation ved New York University, der fokuserer på AIs indflydelse i samfundet. "Og dataene og logikkerne, der styrer de forudsagte forudsætninger, er ofte ukendte, selv for dem, der bruger dem, så meget mindre for de mennesker, hvis liv er påvirket."
I en rapport, der blev udsendt sidste efterår, gik AI Now så vidt, at de anbefalede, at ingen offentlige agenturer, der var ansvarlige for sådanne anliggender som kriminel retfærdighed, sundhedsvæsen, velfærd og uddannelse, skal bruge black box AI-systemer. Ifølge AI Now er der sjældent juridiske og etiske spørgsmål, der tages meget i betragtning, når softwaren oprettes.
"Ligesom du ikke ville have tillid til en dommer til at opbygge et dybt neuralt netværk, bør vi stoppe med at antage, at en ingeniørgrad er tilstrækkelig til at træffe komplekse beslutninger inden for domæner som strafferet, " siger Whittaker.
En anden organisation, Center for Democracy & Technology, har genereret et "digitale beslutninger" -værktøj til at hjælpe ingeniører og computervidenskabere med at skabe algoritmer, der giver retfærdige og uvildige resultater. Værktøjet stiller mange spørgsmål, der er beregnet til at få dem til at veje deres antagelser og identificere uforudsete ringvirkninger.
”Vi ønskede at give folk et konkret udgangspunkt for at tænke gennem emner som hvor repræsentative deres data er, hvilke grupper mennesker der måske er ude af, og om deres modellers output vil have utilsigtede negative konsekvenser, ” siger Natasha Duarte, der fører tilsyn med projektet.
Hvem er ansvarlig?
Selvom der har været et pres for at gøre udviklere mere opmærksomme på de mulige konsekvenser af deres algoritmer, påpeger andre, at offentlige agenturer og virksomheder, der er afhængige af AI, også skal være ansvarlige.
”Der lægges denne vægt på, at designere forstår et system. Men det handler også om de mennesker, der administrerer og implementerer systemet, ”siger Jason Schultz, en professor i jura ved New York University, der arbejder med AI Now Institute om juridiske og politiske spørgsmål. "Det er her gummiet møder vejen med ansvar. Et regeringsagentur, der bruger AI, har det mest ansvar, og de har også brug for at forstå det. Hvis du ikke kan forstå teknologien, skal du ikke være i stand til at bruge den."
Med henblik herpå reklamerer AI Now for brugen af "algoritmiske konsekvensvurderinger", som ville kræve, at offentlige agenturer afslører de systemer, de bruger, og giver eksterne forskere mulighed for at analysere dem for potentielle problemer. Når det gælder politiafdelinger, mener nogle juridiske eksperter, at det også er vigtigt for dem at tydelig forklare, hvordan de bruger teknologi og være villige til at dele det med lokalsamfundet.
"Hvis disse systemer er designet ud fra ansvarlighed, retfærdighed og behørig proces, skal den person, der implementerer systemet, forstå, at de har et ansvar, " siger Schultz. ”Og når vi designer, hvordan vi skal implementere disse, er et af de første spørgsmål 'Hvor går dette i politiets manual?' Hvis du ikke vil have dette et eller andet sted i politiets manual, lad os tage et skridt tilbage, folk. ”
Andrew Ferguson ser et behov for det, han betegner som et "overvågningstopmøde."
”Mindst en gang om året skulle der være et ansvarlighedsmoment for polititeknologi i enhver lokal jurisdiktion, ” siger han. ”Politimesteren, borgmesteren eller måske lederen af byrådet er nødt til at forklare samfundet, hvad de bruger skatteyderne for i form af overvågning og teknologi, hvorfor de synes, det er en god brug af pengene, hvad de gør for at revidere dem og beskytte dataene, hvad er privatlivets konsekvenser. Og samfundet ville være der for at stille spørgsmål. ”
Daniel Neill, CrimeScan-skaberen, siger, at han ikke ville gøre indsigelse mod ideen om regelmæssige revisioner af AI-resultater, selvom han har forbehold om, at det bliver gjort, før en algoritme er tilstrækkeligt feltprøvet. Han arbejder i øjeblikket med Pittsburgh Bureau of Police på en CrimeScan-retssag, og i det mindste oprindeligt var der en udfordring med "at få den rigtige patruljeintensitet til de forudsagte hot spots."
Det har været en læringsproces, siger han, at tilpasse CrimeScan, så politifolk på gadeniveau mener, at det er nyttigt. ”Vi er nødt til at vise, at vi ikke kun kan forudsige kriminalitet, men også at vi rent faktisk kan forhindre det, ” bemærker Neill. ”Hvis du bare kaster værktøjet over væggen og håber på det bedste, fungerer det aldrig så godt.”
Han anerkender også risikoen for at udsætte for meget til en algoritme.
”Et værktøj kan hjælpe politibetjente med at træffe gode beslutninger, ” siger han. ”Jeg tror ikke, maskiner skal tage beslutninger. De skal bruges til beslutningsstøtte. "
Neill tilføjer, "Jeg forstår, at det i praksis ikke er noget, der sker hele tiden."
