Il dr. John P. A. Ioannidis,  epidemiologo e “metaricercatore”, è direttore del Dipartimento di Igiene ed Epidemiologia della University of Ioannina School of Medicine, Grecia; Collabora inoltre con l’ Institute for Clinical Research and Health Policy Studies, Department of Medicine, Tufts-New England Medical Center, Tufts University School of Medicine, Boston, Massachusetts, negli USA.

Ioannidis è oggi uno dei maggiori esperti mondiali per quanto riguarda la credibilità della ricerca medica.

La domanda, che ha avuto un’importanza centrale nel lavoro di Ioannidis, ed a cui ha tentato di rispondere nei suoi diversi e serissimi articoli scientifici è sempre stata: Esiste una ricerca medica di cui possiamo fidarci, dato che essa determina le scelte terapeutiche dei medici ? Così Ioannidis, con le sue ricerche e pubblicazioni, ha cercato di dimostrare, che i risultati delle ricerche mediche sono spesso esagerati, fuorvianti o addirittura falsi. Sollevando un appassionato ed interessante dibattito tra i ricercatori di tutto il mondo

ll suo primo lavoro su queste tematiche è apparso su Plos Medicine(1) dal titolo chiarissimo: “Why Most Published Research Findings Are False”, in cui senza mezzi termini egli spiega con puntiglio e dimostra con dovizia di formule matematiche, il perché della sua drastica asserzione. “Vi è una tendenza diffusa”, dice Ioannidis, “che porta ad idolatrare il p-value 0.05 come unica garanzia di veridicità. Chi conduce una ricerca si preoccupa in genere di ottenere la significatività statistica, cioè che il risultato finale abbia solo il 5% di probabilità di errore. Se però la ricerca è stata condotta con tali e tanti bias da distorcerne le conclusioni, ecco che questa pura formalità statistica non ha alcun valore. La veridicità di una ricerca, oltre che dal p 0.05, dipende infatti da altri due elementi, la potenza statistica dello studio, vale a dire un numero sufficiente di pazienti, che sperimentino un numero sufficiente di eventi, e dal calcolo della probabilità a priori (PPV) che il risultato finale sia corretto e veritiero. Per semplificare al massimo facciamo un esempio: la stessa ricerca condotta da più team indipendenti, sparsi nel mondo, avrà risultati con scarsa probabilità di concordanza, e quindi di verità, per il bias numerico della variabilità estrema degli impianti della ricerca. Si tratta di un bias indipendente dalla volontà dei ricercatori, non dovuto al caso, ma statisticamente prevedibile. Il concetto di variabilità da casualità (chance) va drasticamente separato da quello da bias (letteralmente = distorsione da pregiudizio o da altri elementi). Un bias può essere anche 'attivo', cioè voluto, come quello da manipolazione dei dati, riportati in maniera selettiva o distorti allo scopo di arrivare alla dimostrazione voluta. Più cresce questo tipo di bias, maggiori sono le probabilità che le conclusioni della ricerca siano false, anche se la gravità della manipolazione può essere sempre attenuata ( o amplificata) dalla probabilità a priori che l'impianto dello studio possa portare a conclusioni più o meno veritiere. L'uso di computer e di software sempre più sofisticati, ha eliminato in gran parte gli errori di misura, mentre sono in aumento i bias da conflitto d'interesse, che arrivano al punto di cancellare risultati corretti, solo perché ritenuti 'negativi' per interessi commerciali (bias di pubblicazione). Ioannidis conclude riportando 6 ‘corollari’ che aiutano a definire perché uno studio seppure con p-value 0.05 può essere falso: 1. piccole dimensioni. E' più improbabile si giunga a risultati veritieri con campioni di grandezza limitata, di basso potere statistico 2. il cosiddetto effect size, cioè quanto forte è l'effetto che dobbiamo misurare. E' più probabile siano vere le ricerche sull'impatto del fumo sul cancro o sul rischio cardiovascolare, piuttosto che sul rischio genetico in una malattia poligenica. 3. gli studi di conferma tendono a risultati più veritieri,  rispetto a studi attuati allo scopo di generare nuove ipotesi di lavoro. 4. la flessibilità di uno studio: quanto è maggiore (definizione degli outcomes, disegno dello studio, strumenti analitici usati), tanto è più elevata la probabilità di false conclusioni. 5. conflitti di interesse, non solo quelli finanziari, ma anche il pregiudizio scientifico (credere alle proprie teorie più che a quelle degli altri o all'opposto essere influenzati dall'ipotesi più in voga), riducono la probabilità che uno studio sia veridico. 6. quanto più 'scottante' è il campo della ricerca, tanto è più probabile ottenere falsi risultati. Non raro a questo proposito il fenomeno detto Proteo, per il quale risultati clamorosi vengono rapidamente smentiti e poi altrettanto rapidamente riaffermati in modo altalenante. Questo accade spesso nelle ricerche di genetica molecolare.”

Dopo questa interessante lettura, incuriositi dall’ “uomo” Ioannidis, abbiamo rintracciato in rete un numero del Novembre 2010 del Magazine Americano “The Atlantic”, uscito con un articolo intitolato Lies, Damned Lies, and Medical Science, in cui il giornalista David Freedman, intervistava il dr. John P. A. Ioannidis, sugli argomenti sin qui trattati. Articolo poi per gran parte tradotto in Italiano dalla rivista Internazionale nel numero 879 del Gennaio 2011. Così abbiamo approfondito la conoscenza di questo ricercatore, e sentito dalle sue stesse parole le sue considerazioni sull’ argomento. Riportiamo, dell’ intevista, la parte più interessante, nella quale Ioannidis parla delle sue ricerche e della sua vita.

L' Intervista: La Medicina Senza prove

La cittadina universitaria di Ioannina sorge vicino alle rovine di un anfiteatro da 20 mila posti costruito in onore di Zeus sul sito dell’antico oracolo di Dodona. Nell’antichità l’oracolo rispondeva alle domande dei sacerdoti facendo stormire i rami di una quercia sacra. Oggi un’altra quercia invita i visitatori a ripetere il rito. “Porto qui tutti i ricercatori che vengono a trovarmi e quasi tutti rivolgono alla quercia la stessa domanda”, mi racconta Ioannidis il giorno dopo la riunione, mentre osserviamo l’albero. “Otterrò il finanziamento per la mia ricerca?”. Ridacchia, ma è un tipo che ride per ammorbidire l’asprezza dei suoi attacchi, più che per allegria. E di fatto, subito dopo osserva che l’ossessione dei finanziamenti ha contribuito molto a indebolire la credibilità della ricerca medica. “Davo per scontato che qualunque cosa facessimo noi medici fosse sostanzialmente giusta, ma volevo accertarlo”, spiega. “Dovevamo semplicemente rivedere tutte le prove in modo sistematico e convincerci che erano affidabili, e tutto sarebbe stato perfetto”. Ma non andò così. I “controlli randomizzati”, in cui si mette a confronto un gruppo sottoposto a un determinato trattamento e un altro gruppo a cui la terapia non viene somministrata, erano considerati da tempo una prova quasi incontrovertibile, eppure a volte si dimostravano sbagliati. “Mi resi conto che anche le nostre ricerche gold standard avevano un sacco di problemi”, racconta.

Ioannidis cominciò a cercare di capire dove si nascondevano gli sbagli. “Gli studi erano viziati da un errore sistematico”, spiega. “A volte erano apertamente viziati. A volte la manipolazione era difficile da vedere, ma c’era”. “A ogni passaggio c’è spazio di manovra per distorcere i dati, per rafforzare la propria tesi o per selezionare le conclusioni a cui si vuole arrivare”, insiste Ioannidis. “C’è un conflitto di interessi intellettuale che spinge i ricercatori a trovare il risultato che ha maggiori probabilità di ottenere un finanziamento”. Forse solo una minoranza di ricercatori cede a questo impulso, ma i loro risultati distorti hanno un effetto gigantesco sulle ricerche pubblicate. Per ottenere cattedre e finanziamenti, e spesso semplicemente per restare a galla, i ricercatori devono far pubblicare i loro studi in riviste prestigiose, dove il tasso di rifiuto si avvicina spesso al 90 per cento.

Manipolazioni 

Alla fine degli anni novanta Ioannidis si installò all’università di Ioannina. Mise insieme la sua squadra, che è in gran parte la stessa ancora oggi, e cominciò ad affrontare il problema in una serie di articoli che illustravano in che modo certi studi davano risultati fuorvianti. Anche altri “metaricercatori” cominciavano a denunciare l’alto tasso di errori della letteratura medica. Ma Ioannidis voleva tracciare un quadro generale basandosi su dati solidi, un ragionamento limpido e una buona analisi statistica. Il progetto si protrasse fino a quando Ioannidis finalmente si ritirò nella minuscola isola di Sikinos, nel mare Egeo, dove era ispirato dall’ambiente relativamente primitivo e dalle tradizioni intellettuali evocate da quei luoghi. “Un tema costante della letteratura dell’antica Grecia è che bisogna cercare la verità, qualunque possa essere”, dice. Nel 2005 ultimò due studi che sfidavano le fondamenta della ricerca medica. Scelse di pubblicare il primo articolo, su PLoS Medicine, una rivista open access. Nello studio, Ioannidis esponeva, tramite una dettagliata dimostrazione matematica, come, ipotizzando un modesto livello di manipolazione del ricercatore, un margine di imperfezione attribuibile alle tecniche di ricerca, e tenendo conto della tendenza a concentrarsi sulle teorie più avvincenti, i ricercatori arrivavano quasi sempre a risultati sbagliati. Più semplicemente, se un ricercatore è attirato da idee che hanno buone probabilità di essere sbagliate ma è motivato a dimostrare che sono giuste, e se in più ha un certo spazio di manovra per assemblare le prove, quasi sicuramente riuscirà a provare che una teoria sbagliata è giusta. Nell’articolo Ioannidis ha espresso la sua convinzione che i ricercatori spesso manipolano l’analisi dei dati, privilegiando i risultati che possono favorire la carriera e usando perfino il processo di revisione tra pari – in cui le riviste chiedono ai ricercatori di decidere quali studi pubblicare – per eliminare le opinioni contrastanti. “Possiamo contestare alcuni dettagli dei calcoli di John, ma è difficile sostenere che le idee fondamentali non siano assolutamente corrette”, dice Dong Altman, un ricercatore dell’università di Oxford che dirige il Centre for Statistics in Medicine. Nel secondo articolo (2) Ioannidis aveva scelto 49 ricerche giudicate tra le più importanti degli ultimi 13 anni in base ai due criteri standard della comunità scientifica: gli studi erano apparsi nelle riviste più citate negli articoli di ricerca e i 49 studi erano i più citati di queste riviste. Su 49 articoli, 45 affermavano di aver scoperto interventi efficaci; 34 di queste affermazioni erano state sottoposte a una nuova verifica e 14, vale a dire il 41 per cento, si erano dimostrate sbagliate o di gran lunga esagerate. Ben più di un terzo delle più acclamate ricerche mediche si rivelava invalidabile: la portata del problema era innegabile. Questo secondo articolo venne pubblicato nel Journal of the American Medical Association. La sentenza di Ioannidis riguardava tutte le ricerche mediche. Gli studi sui farmaci avevano l’aggravante del conflitto di interessi finanziario. I collegamenti tra geni e malattie o altri annunci che vengono costantemente montati dalla stampa perché sembrano promettere terapie miracolose, in passato si sono dimostrati così vulnerabili a errori e distorsioni che secondo Ioannidis tanto valeva giocare a freccette prendendo di mira una mappa del genoma. Dei 45 studi supercitati presi in esame da Ioannidis, undici non erano mai stati testati una seconda volta. C’è di più: Ioannidis ha accertato che un errore di regola persiste per anni, se non per decenni, perfino quando viene individuato. Esaminando tre importanti studi degli anni ottanta e novanta che in seguito sono stati smentiti, ha scoperto che i ricercatori continuavano a citare i risultati originali come se fossero corretti: in un caso addirittura per dodici anni. I medici potrebbero accorgersi che i pazienti non reagiscono a certe terapie come la letteratura li aveva indotti a sperare, ma il settore è condizionato a subordinare l’evidenza aneddotica ai risultati degli studi.

La Medicina Basata Sulle Prove

Eppure gran parte di quel che fanno i medici, anzi quasi tutto, non è mai stato verificato in studi credibili, visto che questa necessità è diventata evidente solo negli anni novanta. Ora il settore deve cercare di recuperare più di un secolo di medicina non basata sulle prove. Ma la sua maggiore preoccupazione è un’altra: anche se i suoi colleghi ricercatori sembrano aver ricevuto il messaggio, spiega, nessuno si sente costretto a fare un lavoro migliore. “E’ difficile”, spiega, “ cambiare il modo in cui medici, pazienti e persone sane pensano e si comportano quotidianamente”. “I medici devono affidarsi all’istinto e alla loro capacità di giudizio. Ma le loro scelte dovrebbero essere il più possibile informate e suffragate da prove. E se le prove non sono attendibili, i dottori dovrebbero saperlo. E anche i pazienti”. Se il mondo smettesse di aspettarsi che gli scienziati abbiano sempre ragione, avremmo risolto una buona parte del problema degli errori, dice Ioannidis. Perché nella scienza avere torto è positivo, persino necessario – purché gli scienziati lo riconoscano, purché ammettano apertamente il loro errore invece di mascherarlo. Ma finché le carriere resteranno condizionate dalla produzione di un fiume di ricerche abbellite in modo da sembrare più giuste di quanto non siano, gli scienziati continueranno a produrle. “La scienza è un’impresa nobile, ma a basso rendimento”, conclude Ioannidis.

Fonti Bibliografiche:

1. Why Most Published Research Findings Are False

John P. A. Ioannidis

PLoS Medicine | www.plosmedicine.org August 2005 2(8): e124.

Open access, freely available online

http://www.plosmedicine.org/article/info%3Adoi%2F10.1371%2Fjournal.pmed.0020124

2. Contradicted and Initially Stronger Effects in Highly Cited Clinical Research

John P. A. Ioannidis, MD

JAMA, July 13, 2005—Vol 294, No. 2 (Reprinted) ©2005 American Medical Association.

3. Lies, Damned Lies, and Medical Science

By David H. Freedman

Magazine - The Atlantic 09/01/11 Access h 08:18

http://www.theatlantic.com/magazine/print/2010/11/lies-damned-lies-and-medical-science/8269/

4. La Medicina Bugiarda

G.C.

Internazionale 879 | 7 gennaio 2011

5. Assessing The Unreliability Of The Medical Literature: A Response To “Why Most Published Research Findings Are False”

Steven Goodman, Sander Greenland

Johns Hopkins University, Dept. of Biostatistics Working Papers

Year 2007 Paper 135 http://www.bepress.com/jhubiostat/paper135

6. Why Most Published Research Findings Are False: Author’s Reply to Goodman and Greenland

John P. A. Ioannidis

PLoS Medicine | www.plosmedicine.org June 2007 | Volume 4 | Issue 6 | e224 | e214 | e215

7. Perche' La Maggior Parte Dei Risultati Delle Ricerche Pubblicate E' Falso

a cura di Giovanni Peronato Reumatologo

http://www.leviedellasalute.com

Aggiornato al 12 Ottobre 2011