pensate alle medicine.
sappiamo che in certi casi possono causare vittime.
in alcuni casi e se usate in modo inappropriato.
ma normalmente funzionano.
possono avere effetti collaterali e persino causare morti.
abbiamo un’infrastruttura normativa che ha permesso lo sviluppo dell’industria farmaceutica.
abbiamo richiesto alle aziende farmaceutiche di
– dichiarare a cosa servono le medicine
– dichiarare come dovrebbero essere usate
– dichiarare gli eventuali effetti collaterali negativi
– eseguire test con animali e, in caso di successo
– richiede l’autorizzazione per i test con umani (con un organismo di autorizzazione e controllo)
– eseguire vari test sull’uomo
– monitorare l’utilizzo successivo
– in alcuni casi (più rischiosi) tracciare ogni fase di utilizzo
– notificare possibili problemi
– rilasciare l’IPR dopo un certo numero di anni
– ritirarli immediatamente dal mercato in caso di problemi
e abbiamo regolamenti per tutto questo
consideriamo ora una patologia mortale
se non fai niente, hai 10.000 vittime
se fornisci un farmaco, hai 100 vittime.
è un guadagno meraviglioso per la società.
ora veniamo all’AI.
pensate alla guida in auto:
sei il CEO di una casa automobilistica.
date i vostri prodotti agli utenti umani sapendo che 10.000 di loro moriranno per una serie di motivi.
i prodotti sono ok, il problema è la guida umana.
non è una tua responsabilità, è dell’utente
poi introduci una tecnologia di guida e ci sono solo 100 vittime.
è un guadagno meraviglioso per la società.
ma le famiglie delle vittime ti faranno causa.
sei responsabile per il prodotto.
potresti essere stato preparato ed evitare che la società finisca in bancarotta per danni e responsabilità
ma potresti affrontare la prigione in varie giurisdizioni per avere immesso sul mercato un prodotto che ha causato un decesso, almeno in termini colposi.
nell’esempio farmaceutico, a livello di regolamentazione, consideriamo l’output complessivo per benefici e responsabilità; in altri prodotti si guarda la responsabilità per ogni singolo prodotto per responsabilità
IMHO per l’intelligenza artificiale dovremmo costruire un’infrastruttura normativa come quella che abbiamo per l’industria farmaceutica. (con tutte le fasi ed i vincoli di cui sopra, magari mutuando dalla regolamentazione dei farmaci).
la responsabilità delle società dovrebbe essere valutata non per l’incidente singolo ma per l’effetto complessivo che hanno, chiedendo loro di fare test appropriati e dichiarare ciò che ottimizzano e tenerli responsabili per ciò.
so che alcuni amici storceranno il naso, che un approccio che preveda una sorta di “spiegabilità algoritmica” sarebbe preferibile in linea di principio ed è una linea che condivido. fino ad un certo punto. può determinare costi che di fatto impediscono l’uso di un sistema che produrrebbe benefici.
come noto, non sono un fedele singolaritariano, ma penso che andando avanti il costo della spiegabilità aumenterà comunque a livello esponenziale e potrebbe privarci di benefici.
penso anche che questa interpretazione sia inevitabile e che ci si arriverà, allora penso sarebbe meglio anticiparla e cercare di farne un vantaggio competitivo per il paese. Questo è il senso della proposta di legge che presentai un anno fa.
Grazie Stefano, era da tempo che stavo cercando di immaginarmi una soluzione pragmatica per il tema Etica & AI e quella del farmaco, con la potenza che hanno le metafore, mi sembra un ottimo punto di partenza.
Concordo con te che si debba guardare il beneficio totale, ed è anche più semplice avere un dibattito razionale quando si ragiona su statistiche piuttosto che sulla singola tragedia.
Concordo anche sul dare meno peso alla “spiegabilità algoritmica”. Vi è ricerca interessante nello spiegare gli algoritmi black box, come la tecnica LIME di Carlos Guestrin o il convertire modelli Deep Learning in macchine a stati di Yoav Goldberg, e sicuramente questa ricerca va perseguita e finanziata. Ho però anche la sensazione che quando arriveremo a rendere spiegabili dei sistemi che fanno ragionamenti complessi, difficilmente queste spiegazioni saranno semplici, o perlomeno così semplici da essere utili allo scopo.
La parte su cui mi concentrerei di più è il tradurre nell’AI un approccio simile al protocollo di sperimentazione dei farmaci, una serie di test che una volta soddisfatti danno un livello di garanzia sufficiente sulle performance dell’AI ed evitano / riducono la perseguibilità dell’azienda.
Questi test, a parte una serie di casi molto limitati come l’auto a guida autonoma, difficilmente potranno essere standard. E difficilmente potranno essere resi pubblici o certificati da terzi, sia per preservare i segreti industriali delle aziende che per motivi di costo.
La via più semplice potrebbe essere una autocertificazione dei test, da rendere disponibile alle autorità pubbliche in caso di controlli. Chi sviluppa un servizio di AI con possibili risvolti etici e impatti su salute e diritti delle persone potrebbe definire su quali direttrici l’AI potrebbe avere bias o effetti negativi e definire i test da implementare per scongiurarli. Per esempio, se fosse possibile una discriminazione di genere si potrebbero creare 2 dataset identici a parte per la variabile sesso e vedere se vi è una differenza significativa tra le 2 previsioni (l’esempio è volutamente molto semplificato). Questi test, a differenza di quelli sui farmaci che sono più one shot, andrebbero fatti prima di ogni rilascio dopo un nuovo training, una sorta di continuous integration. In questo contesto si potrebbero in futuro introdurre anche gli attacchi adversarial per garantire ulteriormente la robustezza dei sistemi, ma stiamo già parlando di una fase di maturità molto avanzata.
Bisognerebbe pensare il tutto per non ammazzare le aziende di burocrazia e rallentare il progresso, capire a che livello mettere la soglia di libertà dell’autocertificazione e per quali use case è necessaria o va fatta più approfondita. Gli Stati potrebbero rendere l’introduzione di questo processo più semplice se per primi adottassero in via sperimentale questo sistema, sviluppando delle best practices per i propri progetti da rendere poi di dominio pubblico.
My 2 cents.
Riguardo la spiegabilità, credo che in molti casi non si potrà avere. vuoi per complessità di calcolo, vuoi per incompletezza del modello, vuoi perchè le “ragioni” possono non avere un significato per noi che le esaminiamo.
non sono cosi’ pessimista sulla ispezionabilità dei test. la coca cola e’ un segreto ma la controlliamo (banalizzo) anche l’algoritmo di google e’ stato sottoposto ad audit da parte della FTC senza che finisse su pasetbin.
certamente vanno fatti ad ogni rilascio in produzione.
p.s. state facendo un bel lavoro, bravi!
l’autocertificazione va piu’ che bene per quelle cose che non hanno effetti su umani. IMHO
Ottimo articolo. Grazie. La explainability non è un must. Ma se non c’è lei ci deve essere la fiducia. Alla fine è una questione di fede o ragione. Aver dei processi per creare fiducia, come quelli che descrivi, sono un” ottima soluzione, ma, guarda un po’ sono tali proprio perché spiegabili. Purtroppo ricordo che c’è una terza via, dove fede e ragione non bastano, arriva la tentazione di usare forza.