Quando dobbiamo valutare una situazione e fare una scelta, usiamo le informazioni e le interpretiamo in base ai nostri modelli mentali. Un giudizio non è mai totalmente oggettivo: è proprio in base ai nostri modelli mentali che scegliamo, più o meno consapevolmente, quali informazioni considerare, e spesso amplifichiamo il peso dei dati che confermano le nostre opinioni e sottovalutiamo quelli che le smentiscono.
Oggi molte scelte un tempo affidate al giudizio umano sono supportate o addirittura sostituite da valutazioni condotte da algoritmi che, in base a regole più o meno complesse, analizzano i dati e restituiscono un risultato, espresso o sotto forma di un giudizio netto (ammesso/non ammesso) o come stima di probabilità o rischio (di ammalarsi, rimborsare un prestito, tornare a commettere un reato).
Questo consente indubbiamente di velocizzare i processi rendendoli più efficienti; ma siamo sicuri che queste scelte siano davvero più oggettive e in definitiva più giuste?
In realtà anche i modelli matematici riflettono gli obiettivi e l’ideologia di chi li ha costruiti e ha scelto che dati usare, a quali prestare più attenzione, quali escludere. Pensiamo ad esempio a un algoritmo che valuti la qualità di una scuola o di un insegnante: siamo sicuri che bastino i risultati dei test Invalsi o la percentuale di diplomati che trova lavoro entro un certo lasso di tempo dal diploma? Come pesano nel modello le variabili geografiche e socioeconomiche di partenza? Come possono essere valutate competenze trasversali quali la capacità di lavorare in gruppo? La realtà è che ci sono fattori che sarebbero troppo difficili da raccogliere e quantificare, quindi vengono semplicemente lasciati fuori dal modello; ma se poi i risultati del modello diventano l’unico criterio in base a cui distribuire i finanziamenti agli istituti, oltretutto con la pretesa dell’oggettività, allora stiamo sostituendo una forma di arbitrio con un’altra, non creando una società più giusta.
Gli algoritmi possono anche avere un effetto distorsivo sulla realtà, portando a investire più energie per migliorare i fattori presi in considerazione dall’algoritmo stesso o generando profezie che si auto-avverano. Se ad esempio un certo quartiere è considerato “a rischio”, in quell’area aumenterà la sorveglianza e questo porterà a rilevare un gran numero di infrazioni e reati minori che magari avvengono anche altrove, solo che altrove manca una sorveglianza così attenta. Ma cosa accade se il quartiere e il suo punteggio di rischio sono uno degli indicatori per valutare l’affidabilità creditizia di una persona? E soprattutto, cosa accade se il risultato dell’algoritmo è giudicato inappellabile perché “oggettivo” e non viene compensato da una valutazione più globale che tenga conto di fattori difficilmente codificabili dalle macchine?
Insomma, se può essere lecito che società private come Netflix o Amazon classifichino i loro clienti paganti e ne ottimizzino la resa, o che Facebook decida per via algoritmica cosa farci vedere sulla bacheca o no (ma anche su questo io qualche domanda me la farei), dovremmo essere molto più prudenti nell’affidare ad algoritmi non controllabili le scelte che riguardano la giustizia, lo stato sociale e la democrazia. Perché rivestire i pregiudizi di un’apparenza statistica non li rende meno pregiudizi.
Approfondimenti Il libro “Armi di distruzione matematica”mostra diversi ambiti di applicazione degli algoritmi, mettendo in evidenza come questi ormai agiscano su moltissimi ambiti della nostra vita, valutando studenti, insegnanti e lavoratori, prendendo decisioni sulla nostra salute fisica e finanziaria, indirizzandoci verso alcuni percorsi e precludendone altri. L’autrice, la matematica Cathy O’Neil, spiega i rischi della “discriminazione algoritmica” e propone strade per costruire modelli matematici più equi ed etici. (“Armi di distruzione matematica” di Cathy O’Neil – Ed. Bompiani)
