Gli algoritmi di intelligenza artificiale non sono neutri come sembrano. Il femminismo digitale ha documentato come questi sistemi possano incorporare pregiudizi di genere. Quello che dovrebbe essere un progresso tecnologico si trasforma spesso in uno specchio deformante della società, amplificando discriminazioni già esistenti nel mondo del lavoro, della sanità e dei servizi digitali.
La storia più emblematica arriva proprio dal gigante dell'e-commerce. Tra il 2014 e il 2017, Amazon aveva sviluppato un sistema rivoluzionario per automatizzare la selezione del personale: un'algoritmo capace di assegnare ai candidati un punteggio da una a cinque stelle, proprio come avviene per i prodotti venduti online. l'idea era seducente: velocizzare il reclutamento in un periodo di rapida espansione aziendale eliminando i tempi morti della selezione manuale.
Ma l'ambizioso progetto si è rivelato un clamoroso boomerang. Come documentato da Reuters nell'ottobre 2018, gli esperti hanno scoperto che il sistema discriminava sistematicamente le candidate, penalizzando qualsiasi curriculum contenesse la parola «donna» o riferimenti a college femminili. La causa? I dati di addestramento dell'algoritmo provenivano da dieci anni di candidature, prevalentemente maschili, che riflettevano la composizione del settore tecnologico.
Il sistema aveva letteralmente «imparato» che gli uomini erano candidati migliori, sviluppando una preferenza per verbi come «eseguito» e «acquisito», più frequenti nei curriculum maschili. Nonostante i tentativi di correzione del 2015, Amazon ha dovuto arrendersi: nel 2017 il progetto è stato definitivamente abbandonato perché impossibile da «curare» completamente dai suoi pregiudizi incorporati.
La discriminazione algoritmica non si ferma al mondo del lavoro, ma permea anche la nostra quotidianità digitale attraverso i sistemi di riconoscimento vocale. Alexa, Siri, Google Assistant: tutti utilizzano voci femminili come impostazione predefinita, perpetuando l'antica associazione tra donna e servizio. Non è una scelta casuale, ma il riflesso di stereotipi culturali che vedono nelle donne figure naturalmente predisposte alla cura e all'assistenza. Il problema è accentuato dalle performance tecniche: i sistemi faticano a comprendere le voci femminili, addestrati su dataset sbilanciati. l'UNESCO nella pubblicazione I'd Blush If I Could evidenzia come interpretino il tono femminile come «meno autorevole», riducendo l'accuratezza in contesti professionali e rafforzando l'idea di un ruolo subordinato delle donne nella tecnologia.
Ma forse il caso più delicato arriva dalla Spagna, dove il sistema VioGén (Sistema de Seguimiento Integral en los casos de Violencia de Género) utilizza l'intelligenza artificiale per valutare il rischio di recidiva nei casi di violenza domestica. Come documentato dalle autorità spagnole, l'algoritmo analizza oltre 35 variabili dall età dei soggetti coinvolti alla presenza di minori, dai precedenti penali all'uso di sostanze per stabilire il livello di pericolo. Eppure, proprio in un'ambito così sensibile, emergono i rischi più gravi della discriminazione algoritmica. Se i dati storici su cui si basa il sistema riflettono le sottovalutazioni del passato quando certi tipi di violenza venivano minimizzati o alcune categorie di donne considerate meno credibili l'algoritmo rischia di perpetuare e amplificare questi pregiudizi, trasformando l'innovazione tecnologica in una nuova forma di vittimizzazione.
Contrastare i bias nell'AI richiede una rivoluzione culturale e tecnologica. l'AI Act dell'Unione europea è un primo passo, ma non basta: serve un ripensamento profondo. Aziende e università stanno già agendo. Come afferma Joy Buolamwini, dobbiamo costruire un futuro digitale più giusto, non permettere alle macchine di perpetuare i nostri pregiudizi.