Original in Italian; automatic translation into English available here.
Intro
Le università americane, a cominciare da Harvard, sono al centro dell’attenzione ormai da mesi per tante situazioni complesse: dalle manifestazioni filo-palestinesi, a volte con risvolti antisemiti, alle prese di posizione di Trump in materia di visti per gli studenti stranieri.
Ed è facile, in questo periodo burrascoso (sotto qualsiasi punto di vista), essersi persi una vicenda che a mio avviso ha tutte le caratteristiche per entrare negli annali del data journalism. Quella disciplina, per chi non la conoscesse, che mette a fattor comune il giornalismo investigativo con la capacità di raccogliere e analizzare dati di varia provenienza.
Quasi 10 anni fa, fu Machine Bias a fissare una pietra miliare del settore, un articolo in cui si analizzava il funzionamento di COMPAS, un algoritmo pensato per valutare il rischio che un criminale diventasse recidivo.
Torneranno a delinquere?
In quel caso, gli autori/analisti della no-profit Pro Publica evidenziarono, codice alla mano, una serie di discriminazioni sistematiche verso specifiche categorie di criminali, ad esempio sulla base del colore della pelle. Un lavoro straordinario, con un’importanza sociale indiscutibile.
Oggi una vicenda a suo modo paragonabile è quella che vede coinvolti da un lato l’università di Harvard e tre data journalist del blog Data Colada, dall’altra l’ex docente della stessa università, l’italiana Francesca Gino.
I soggetti coinvolti
Harvard non ha certo bisogno di introduzioni, essendo da quasi quattro secoli una delle più prestigiose università al mondo.
Invece gli altri due soggetti meritano qualche parola in più.
Data Colada è un blog con più di 10 anni di vita, portato avanti da tre psicologi sperimentali (Uri Simonsohn, Leif Nelson e Joe Simmons), con una chiara missione: vigilare sulla qualità della ricerca in psicologia, economia comportamentale e affini. In piccolo e con un focus di nicchia, ma si può dire che questo trio è animato dalla stessa idea di Pro Publica: bisogna controllare, in maniera libera ed indipendente, l’operato dei “potenti” o, nel caso specifico, dei ricercatori più influenti.
Francesca Gino è una psicologa comportamentale e autrice focalizzata sulla ricerca sull’onestà e i comportamenti etici. Potremmo definirla una “ricercatrice superstar”, con un curriculum impressionante. Nata in Italia nel 1978 e laureatasi a Trento, la Gino ha bruciato le tappe negli USA, ottenendo la cattedra da ordinaria (tenure come full professor) ad Harvard intorno ai 35 anni. Per non parlare delle quasi 40.000 citazioni dei suoi lavori e della sua conseguente fama e… retribuzione: oltre 1.000.000 di dollari nel solo 2020 dall’università, quinta persona più pagata di tutto il corpo docente.
Tutto è iniziato con l’analisi, da parte di Data Colada, di diversi studi di cui la Gino è co-autrice. Inizialmente un’indagine confidenziale (tra il team e Harvard), che è stata poi resa di pubblico dominio.
L’idea di fondo: verificare se studi di grande successo nel settore non siano in realtà frutto di una manipolazione ad hoc dei dati.
Vi consiglio la lettura del primo articolo di Giugno 2023 dal titolo “Data Falsificada”, a cui ne sono seguiti altri tre. Non proprio una lettura semplicissima, ma sicuramente gustosa: in sintesi, è una disamina molto accurata del perché e del come gli autori di Data Colada siano andati ad approfondire uno studio della Gino, evidenziando a loro dire una serie di incrongruenze statistiche e anomalie tecniche sui dati su cui si basa lo studio.
Un’analisi del team di Data Colada, volta a mostrare una distribuzione dei dati estremamente improbabile, se non per manipolazione degli stessi.
Oggi lo studio in questione è stato ritirato, proprio a fronte di una serie di osservazioni degli autori di Data Colada, che hanno portato forti indizi sul fatto che i dati siano stati manomessi per poter creare la narrazione desiderata e un paper di successo.
Lo stesso destino è toccato a diversi altri studi della stessa autrice, con gli autori di Data Colada che si sono spinti a dichiarare:
We discovered evidence of fraud in papers spanning over a decade, including papers published quite recently (in 2020)
Qualcosa di assolutamente eccezionale: non succedeva da oltre 80 anni.
E merita un approfondimento anche un secondo articolo di Data Colada, che riassume l’analisi portata avanti da Harvard (un lavoro mastodontico descritto in un pdf di 1.300 pagine). In sintesi: Harvard è riuscita ad entrare in possesso di due dataset alla base di uno degli studi (l’originale e quello pubblicato dopo essere stato modificato ad hoc), dalla cui analisi si arriva agli stessi risultati dei “segugi del dato” di Data Colada.
Lascia l’email qui sotto per ricevere un articolo al mese su Dati & AI
Conclusioni
Sono sempre affascinato dai lavori data-driven fatti bene: quando un’analisi sul dato, fatta con tanta competenza e creatività analitica, porta a galla situazioni anomale.
Poi è stata la volta del già citato Machine Bias di Pro Publica.
La vicenda di oggi tocca non solo il tema della manipolazione dei dati, ma anche quello della verifica della qualità della ricerca e del fatto che nessuno debba essere al di sopra di un sano controllo di terze parti.
Non saprei dire quanto questa storia sia davvero giunta al capolino, anche se la scelta di Harvard è qualcosa di quasi unico. Potrebbe esserci ancora qualche sviluppo.
Ma per come stanno ad oggi le cose, leggere il titolo del libro della Gino pubblicato nel 2019 non può che far sorridere. Quando si dice “nascondersi in piena vista”!
Memo: per chi si fosse perso la news, è uscito Intelligenza Artificiale in 4D! Un libro pratico sull'AI, scritto a quattro mani da me e
Questo dimostra che almeno in America c'è un forte interesse per l'istruzione e la stampa fa il suo dovere nel denunciare