Cosa è giusto?
Sembra una domanda semplice, ma è una senza risposte semplici. Ciò è particolarmente vero nel mondo arcano dell'intelligenza artificiale (AI), in cui la nozione di macchine intelligenti e prive di emozioni che prendono decisioni meravigliosamente prive di pregiudizi sta svanendo rapidamente.
Forse la contaminazione più pubblica di quella percezione è arrivata con un'indagine ProPublica del 2016 che ha concluso che i dati che guidano un sistema di intelligenza artificiale usati dai giudici per determinare se un criminale condannato è probabile che commettano più crimini sembra essere distorto contro le minoranze. Northpointe, la società che ha creato l'algoritmo, noto come COMPAS, ha contestato l'interpretazione dei risultati di ProPublica, ma lo scontro ha suscitato sia dibattito che analisi su quanto anche le macchine più intelligenti dovrebbero essere affidabili.
"È un argomento molto interessante: come puoi rendere gli algoritmi equi e affidabili", afferma Daniel Neill. "È un problema importante".
Neill ora si trova nel mezzo di quella discussione. Uno scienziato informatico della Carnegie Mellon University, e un altro ricercatore, Will Gorr, hanno sviluppato diversi anni fa uno strumento software per la previsione del crimine chiamato CrimeScan. Il loro concetto originale era che in qualche modo il crimine violento è come una malattia trasmissibile, che tende a scoppiare in gruppi geografici. Sono anche arrivati a credere che i reati minori possano essere un precursore di quelli più violenti, quindi hanno costruito un algoritmo utilizzando una vasta gamma di dati di "indicatore principale", compresi i rapporti di crimini, come semplici assalti, atti di vandalismo e condotta disordinata, e 911 chiama cose come colpi sparati o una persona vista con un'arma. Il programma include anche tendenze stagionali e giornaliere, oltre a tassi a breve e lungo termine di gravi reati violenti.
L'idea è di tracciare le scintille prima che scoppi un incendio. "Guardiamo altri reati minori", afferma Neill. “Gli assalti semplici potrebbero indurirsi in attacchi aggravati. Oppure potresti avere un modello crescente di violenza tra due bande. "
Prevedere quando e dove
CrimeScan non è il primo software progettato per la cosiddetta sorveglianza preventiva. Un programma chiamato PredPol è stato creato otto anni fa dagli scienziati dell'UCLA che collaboravano con il dipartimento di polizia di Los Angeles, con l'obiettivo di vedere come l'analisi scientifica dei dati sulla criminalità potesse aiutare a individuare modelli di comportamento criminale. Ora utilizzato da oltre 60 dipartimenti di polizia in tutto il paese, PredPol identifica le aree di un quartiere in cui è più probabile che si verifichino reati gravi durante un determinato periodo.
La società afferma che la sua ricerca ha riscontrato che il software è due volte più accurato degli analisti umani quando si tratta di prevedere dove si verificheranno i crimini. Nessuno studio indipendente, tuttavia, ha confermato questi risultati.
Sia PredPol che CrimeScan limitano le loro proiezioni sul luogo in cui potrebbero verificarsi i crimini ed evitano di fare il passo successivo nel prevedere chi potrebbe commetterli, un approccio controverso che la città di Chicago ha costruito attorno a un "Elenco di soggetti strategici" delle persone che probabilmente saranno coinvolte nelle future sparatorie, sia come tiratore che come vittima.
L'American Civil Liberties Union [ACLU], il Centro di giustizia di Brennan e varie organizzazioni per i diritti civili hanno sollevato dubbi sul rischio di errori nel software. I dati storici delle pratiche di polizia, sostengono i critici, possono creare un circuito di feedback attraverso il quale gli algoritmi prendono decisioni che riflettono e rafforzano gli atteggiamenti su quali quartieri sono "cattivi" e quali "buoni". Ecco perché l'IA basata principalmente sugli arresti porta un valore più alto rischio di parzialità: rispecchia maggiormente le decisioni della polizia, rispetto ai crimini effettivamente denunciati. CrimeScan, ad esempio, rimane lontano dal tentativo di prevedere i crimini che, come dice Neill, "scoprirai solo se li cerchi".
"Non posso dire che siamo liberi da pregiudizi", afferma Neill, "ma è certamente più ridotto rispetto a se stessimo cercando di prevedere il possesso di droga".
Poi c'è l'altro lato del loop di feedback. Se uno strumento predittivo solleva le aspettative di crimini in un determinato quartiere, la polizia che pattuglia ci sarà più aggressiva nel fare arresti?
"Esiste un vero pericolo, con qualsiasi tipo di controllo basato sui dati, dimenticare che ci sono esseri umani su entrambi i lati dell'equazione", osserva Andrew Ferguson, professore di diritto all'Università del Distretto di Columbia e autore del libro, The Rise of Big Data Policing: Surveillance, Race, and the Future of Law Enforcement. "Gli agenti devono essere in grado di tradurre queste idee che suggeriscono che quartieri diversi hanno punteggi di minaccia diversi. E, concentrandoti sui numeri anziché sull'essere umano di fronte a te, cambi la tua relazione con loro. "
Dentro la scatola nera
La realtà è che l'intelligenza artificiale ora gioca un ruolo - anche se spesso in background - in molte decisioni che riguardano la vita quotidiana - dall'aiutare le aziende a scegliere chi assumere fino alla determinazione dei punteggi di credito fino alla valutazione degli insegnanti. Non sorprende che ciò abbia intensificato il controllo pubblico su come vengono creati gli algoritmi di apprendimento automatico, quali conseguenze involontarie causano e perché in genere non sono soggetti a molte revisioni.
Per cominciare, gran parte del software è proprietario, quindi c'è poca trasparenza dietro il funzionamento degli algoritmi. E, man mano che l'apprendimento automatico diventa più sofisticato, diventerà sempre più difficile anche per gli ingegneri che hanno creato un sistema di intelligenza artificiale spiegare le scelte fatte. Quel processo decisionale opaco, con scarsa responsabilità, è una conseguenza di quelli che sono noti come algoritmi "scatola nera".
"Il pubblico non ha mai la possibilità di controllare o discutere l'uso di tali sistemi", afferma Meredith Whittaker, co-fondatrice dell'AI Now Institute, un'organizzazione di ricerca dell'Università di New York che si concentra sull'impatto dell'IA nella società. "E i dati e le logiche che regolano le previsioni fatte sono spesso sconosciuti anche a coloro che li usano, figuriamoci alle persone le cui vite sono influenzate".
In un rapporto pubblicato lo scorso autunno, AI Now è arrivato al punto di raccomandare che nessun ente pubblico responsabile di questioni come la giustizia penale, l'assistenza sanitaria, il benessere e l'istruzione dovrebbe utilizzare i sistemi di intelligenza artificiale in scatola nera. Secondo AI Now, raramente si tratta di questioni legali ed etiche che vengono tenute in grande considerazione al momento della creazione del software.
"Proprio come non ti fideresti di un giudice per costruire una rete neurale profonda, dovremmo smettere di presumere che una laurea in ingegneria sia sufficiente per prendere decisioni complesse in settori come la giustizia penale", afferma Whittaker.
Un'altra organizzazione, il Center for Democracy & Technology, ha generato uno strumento di "decisioni digitali" per aiutare ingegneri e informatici a creare algoritmi che producono risultati equi e imparziali. Lo strumento pone molte domande volte a indurli a valutare i loro presupposti e identificare effetti di ondulazione imprevisti.
"Volevamo offrire alle persone un punto di partenza concreto per riflettere su questioni come quanto rappresentativi fossero i loro dati, quali gruppi di persone potrebbero essere esclusi e se i risultati del loro modello avranno conseguenze negative non intenzionali", afferma Natasha Duarte, che supervisiona il progetto.
Chi è responsabile?
Mentre c'è stata una spinta per rendere gli sviluppatori più consapevoli delle possibili ripercussioni dei loro algoritmi, altri sottolineano che anche le agenzie pubbliche e le aziende che fanno affidamento sull'intelligenza artificiale devono essere responsabili.
“C'è questa enfasi sul fatto che i progettisti comprendano un sistema. Ma riguarda anche le persone che gestiscono e implementano il sistema ", afferma Jason Schultz, professore di diritto presso la New York University che collabora con l'Istituto IA Now su questioni legali e politiche. "È qui che la gomma incontra la strada della responsabilità. Un'agenzia governativa che utilizza l'IA ha le maggiori responsabilità e anche loro devono capirla. Se non riesci a capire la tecnologia, non dovresti essere in grado di usarla."
A tal fine, AI Now sta promuovendo l'uso di "valutazioni di impatto algoritmico", che richiederebbero agli enti pubblici di rivelare i sistemi che stanno utilizzando e consentire ai ricercatori esterni di analizzarli per potenziali problemi. Quando si tratta di dipartimenti di polizia, alcuni esperti legali ritengono sia importante anche per loro spiegare chiaramente come stanno usando la tecnologia ed essere disposti a condividerla con la comunità locale.
"Se questi sistemi sono progettati dal punto di vista della responsabilità, correttezza e giusto processo, la persona che implementa il sistema deve capire di avere una responsabilità", afferma Schultz. "E quando progettiamo come implementarli, una delle prime domande è" Dove va questo nel manuale di polizia? " Se non hai intenzione di farlo da qualche parte nel manuale di polizia, facciamo un passo indietro, gente. ”
Andrew Ferguson vede la necessità di quello che definisce un "vertice di sorveglianza".
"Almeno una volta all'anno, dovrebbe esserci un momento di responsabilità per la tecnologia di polizia in ogni giurisdizione locale", afferma. "Il capo della polizia, il sindaco o forse il capo del consiglio comunale dovrebbero spiegare alla comunità per cosa stanno usando i dollari dei contribuenti in termini di sorveglianza e tecnologia, perché pensano che sia un buon uso del denaro, per cosa stai facendo per controllarlo e proteggere i dati, quali sono le implicazioni sulla privacy. E la comunità sarebbe lì per porre domande. "
Daniel Neill, il creatore di CrimeScan, afferma di non opporsi all'idea di controlli regolari dei risultati di intelligenza artificiale, anche se ha delle riserve su ciò che deve essere fatto prima che un algoritmo venga adeguatamente testato sul campo. Attualmente sta lavorando con l'Ufficio di Polizia di Pittsburgh in un processo CrimeScan, e almeno inizialmente c'è stata una sfida con "ottenere la giusta intensità di pattuglia per i punti caldi previsti".
È stato un processo di apprendimento, dice, per adattare CrimeScan in modo che gli agenti di polizia a livello stradale credano che sia utile. "Dobbiamo dimostrare che non solo possiamo prevedere il crimine, ma anche che possiamo effettivamente prevenirlo", osserva Neill. "Se si getta lo strumento sopra il muro e si spera per il meglio, non funziona mai così bene."
Riconosce anche il rischio di differire troppo da un algoritmo.
"Uno strumento può aiutare gli agenti di polizia a prendere buone decisioni", afferma. “Non credo che le macchine dovrebbero prendere decisioni. Dovrebbero essere utilizzati per il supporto decisionale. "
Neill aggiunge: "Capisco che, in pratica, non è qualcosa che accade sempre."
