Intervista di Alessandro Longo a Virginia Eubanks
È possibile essere discriminati da un Software?
Gli algoritmi stanno facendo il loro ingresso nei servizi di welfare negli Stati Uniti e in numerosi altri paesi. Decidono a chi erogare i sussidi per la disoccupazione o addirittura quali bambini togliere ai genitori (in caso di maltrattamenti o di trascuratezza). In questo modo, ci siamo esposti al rischio di “automatizzare la diseguaglianza” e di usare la tecnologia per disempatizzare i nostri sentimenti nei confronti dei più poveri e deboli.
Parole di Virginia Eubanks, professore associato all’università di Albany (New York), che con il suo “Automating Inequality” ha toccato il nervo scoperto di una nazione. E non di una soltanto, come dimostra il suo tour di presentazione del libro in molti paesi: dalla Scandinavia all’India, fino in Australia. La particolarità del saggio (acclamato anche dal New York Times e dal Guardian) è l’aver raccolto “centinaia di testimonianze, da parte di persone che sono state soggette al trattamento algoritmico da parte del sistema pubblico: tutte riferiscono di essersi sentite disumanizzate da questo processo”, racconta a Le Macchine Volanti.
Alcune di queste situazioni rappresentano casi di vera e propria ingiustizia: nello stato dell’Indiana, per esempio, un algoritmo analizza i big data per capire a chi dare (o togliere) il sussidio di disoccupazione e invalidità. In decine di migliaia di casi, però, le persone hanno perso il diritto a ottenerlo perché non sono riuscite a rispondere prontamente alla telefonata di verifica (com’è avvenuto a Sheila Purdue, non udente); o perché hanno riattaccato il telefono dopo 50 minuti di attesa al call center dedicato, sovraccaricato dalle inefficienze del sistema stesso.
D: Quali sono gli ultimi segni di questo fenomeno di “automatizzazione della diseguaglianza”?
Mi sono accorta nel mio tour di come questi strumenti automatici siano implementati in molteplici posti, sempre più spesso. In Australia vengono utilizzati per identificare le persone a cui il governo – in base ad alcuni parametri – ritiene di aver pagato troppi sussidi. Ci sono decine di migliaia di persone che ricevono una lettera dal governo in cui si chiede di restituire somme anche di 2 o 3 mila dollari. E se si ritiene di star subendo un’ingiustizia, bisogna dimostrare di avere avuto pieno diritto al sussidio. Spesso, però, si tratta di casi che risalgono anche a 20-30 anni prima, come si può quindi dimostrare di essere nel giusto? In India si usano anche sistemi di identificazione biometrica per chi riceve sussidi pubblici, nonostante ci sia un dubbio di costituzionalità. In generale, vedo sempre più esempi simili a quelli descritti nel libro: la maggior parte degli stati ora usa algoritmi per stabilire chi ha diritto a un sussidio, incorrendo negli stessi problemi sperimentati in Indiana.
Il Coordinated Entry System è invece un servizio di assistenza per i senzatetto di cui ho descritto il funzionamento a Los Angeles, ma che oggi sta diventando uno standard sempre più utilizzato. Si stanno diffondendo anche algoritmi che stabiliscono chi maltratta i propri figli: nel libro racconto un caso di Pittsburgh, ma ora sta prendendo piede anche in Inghilterra.
D: La tua tesi è che l’automazione di questi servizi sia un problema perché, togliendo il filtro umano, diamo maggiore potere all’algoritmo e riduciamo le possibilità di ribaltare il modello.
Esatto. Ma anche quando l’algoritmo funziona bene, ho riscontrato che le persone se ne sono sentite comunque vittime. Parlandomi, mi hanno riferito di essersi sentite disumanizzate. Ridotte a un blocco di dati da analizzare. E persino terrorizzate all’idea che il governo, grazie a questi dati, potesse prevedere il loro futuro comportamento.
D: Sorprende che questi sistemi si diffondano, nonostante i problemi riscontrati.
Il problema è di base: non ci preoccupiamo abbastanza delle persone in condizione di povertà, su cui – soprattutto negli USA – grava uno stigma culturale. Li accusiamo della loro condizione e attraverso gli algoritmi vogliamo dimostrare il nostro pregiudizio, secondo cui si meritano di essere poveri e di conseguenza di essere in alcuni casi puniti. Per questo motivo, dico che serve un cambio culturale prima di automatizzare questi sistemi, altrimenti il rischio è di automatizzare solo i nostri pregiudizi.
D: Quali soluzioni prevedi?
Nel libro invoco la necessità di un cambio culturale e politico; aumentare la consapevolezza sulle reali cause delle situazioni di povertà. La povertà è un fatto sociale, non può essere risolta con soluzioni tecnologiche come vorrebbero alcuni. Ma visto che l’eventuale soluzione ci metterà molto tempo ad arrivare, nel frattempo bisogna stare attenti a sviluppare tecnologie non dannose. Che non peggiorino il problema, insomma. Nel libro, per prima cosa, mi appello al senso di responsabilità di chi sviluppa i sistemi. Li invito a un nuovo giuramento di Ippocrate per i data scientists, in modo che non programmino algoritmi potenzialmente discriminatori.
D: Ma il senso di responsabilità può non bastare. Le istituzioni europee stanno adottando un doppio approccio, con linee guida e leggi sulla privacy per ottenere la collaborazione di chi sviluppa questi sistemi, indicando alcuni principi etici e stabilendo leggi molto stringenti. È il caso del Gdpr, che prevede che le persone abbiano il diritto di non ricevere trattamenti automatizzati di dati che possono avere un impatto nelle loro vite.
Sì, ma mi sono accorta che queste regole hanno poi problemi di applicazione. Nel libro racconto la vicenda di un gruppo di persone che aveva scelto, essendocene la possibilità, di non far trattare i propri dati dagli algoritmi, ma che poi proprio per questa ragione hanno perso il sussidio. Del Gdpr, invece, apprezzo il principio secondo cui le persone hanno diritto a un controllo sui propri dati personali e a che ci sia sempre un “decisore umano” per aspetti che hanno un impatto sulle loro vite. Il decisore umano ci protegge di più, perché permette di mettere in discussione – anche in una controversia legale – una decisione che ci penalizza da parte di un ente pubblico.
Intervista di Alessandro Longo a Virginia Eubanks
Fonte: https://www.lemacchinevolanti.it/approfondimenti/lingiustizia-degli-algoritmi
