È difficile discutere contro il potere della scienza. Dagli studi che valutano l'ultima tendenza dietetica agli esperimenti che illuminano i predittori della felicità, le persone sono arrivate a considerare sempre più i risultati scientifici come fatti concreti e affidabili che possono governare il modo in cui pensiamo e agiamo.
Contenuto relativo
- Gli scienziati hanno replicato 100 studi di psicologia e meno della metà ha ottenuto gli stessi risultati
Ma negli ultimi anni, un crescente contingente di scienziati ha iniziato a mettere in discussione la veridicità accettata della ricerca pubblicata, anche dopo che è stato eliminato gli ostacoli della revisione tra pari e appare in riviste ampiamente rispettate. Il problema è l'incapacità pervasiva di replicare gran parte dei risultati in numerose discipline.
Nel 2005, ad esempio, John Ioannidis, professore di medicina presso la Stanford University, ha utilizzato diverse simulazioni per dimostrare che le affermazioni scientifiche hanno più probabilità di essere false che vere. E la scorsa estate Brian Nosek, professore di psicologia all'Università della Virginia, ha tentato di replicare i risultati di 100 studi di psicologia e ha scoperto che solo il 39% dei risultati ha resistito a rigorosi test.
"Esistono molteplici linee di evidenza, sia teoriche che empiriche, che hanno iniziato a mettere in discussione la riproducibilità di un consistente segmento di letteratura scientifica", afferma Ioannidis. "Stiamo ricevendo milioni di documenti che non vanno da nessuna parte."
Questi risultati preliminari hanno generato la creazione di un campo completamente nuovo chiamato meta-ricerca, lo studio scientifico della scienza.
Questa settimana, il braccio di biologia della Public Library of Science (PLOS), un editore no profit e un'organizzazione di advocacy, ha lanciato una nuova sezione dedicata esclusivamente alla meta-ricerca. La sezione esplorerà temi quali la trasparenza nella ricerca, gli standard metodologici, le fonti di pregiudizio, la condivisione dei dati, il finanziamento e le strutture di incentivazione.
Per dare il via alle cose, Ioannidis e i suoi colleghi hanno valutato un campione casuale di 441 articoli biomedici pubblicati tra il 2000 e il 2014. Hanno verificato se questi documenti fornivano accesso pubblico ai dati grezzi e protocolli sperimentali, erano replicati in studi successivi, avevano i loro risultati integrati in sistematici revisioni di un'area tematica e inclusa la documentazione delle fonti di finanziamento e di altri potenziali conflitti di interesse.
I loro risultati furono a dir poco preoccupanti. Ad esempio, solo uno studio ha fornito protocolli sperimentali completi e zero studi hanno fornito dati grezzi direttamente disponibili.
"Questi sono due pilastri fondamentali della riproducibilità", afferma Ioannidis. "A meno che non siano disponibili dati e il protocollo completo, non si può davvero riprodurre nulla". Dopo tutto, senza quelle informazioni chiave, come può un altro team sapere esattamente cosa fare e in che modo i loro risultati differiscono da quelli dell'esperimento originale?
Il team ha anche scoperto che le affermazioni di solo otto degli articoli esaminati sono state successivamente confermate da studi successivi. E anche se molti degli studi hanno affermato di avere nuovi risultati, i risultati di soli 16 articoli sono stati inclusi in successivi articoli di revisione, che fungono da cartina di tornasole per il vero impatto di uno studio su un argomento particolare.
"I numeri che otteniamo sono piuttosto spaventosi", afferma Ioannidis. "Ma puoi vederlo come una base di riferimento di dove siamo ora, e c'è un ampio margine di miglioramento".
Tuttavia, non tutti i risultati sono stati scoraggianti. La percentuale di articoli senza dichiarazione di conflitto di interessi è diminuita dal 94, 4 per cento nel 2000 al 34, 6 per cento nel 2014, probabilmente a causa di una crescente consapevolezza degli effetti dannosi della distorsione sui risultati della ricerca.
In un secondo studio di meta-ricerca, un team tedesco ha analizzato come la perdita di soggetti animali durante gli studi preclinici potrebbe contribuire alla diffusa incapacità di tradurre i risultati di laboratorio in utili farmaci clinici.
Gli animali da ricerca potrebbero svanire casualmente da uno studio, ad esempio perché l'animale è morto, o attraverso azioni discretamente distorte, come essere rimosso dal processo per eliminare i dati che minano i risultati previsti. Il team ha dimostrato che la rimozione parziale dei soggetti animali può distorcere i risultati e aumentare significativamente la probabilità di un falso positivo, quando si pensa che un nuovo farmaco funzioni ma in realtà non lo fa.
In un'analisi separata degli studi preclinici su ictus e cancro, gli stessi ricercatori hanno scoperto che la maggior parte degli articoli non riportava adeguatamente la perdita di soggetti animali e che gli effetti positivi di molti farmaci testati potevano essere notevolmente sopravvalutati.
Allora perché questa crisi di trasparenza e riproducibilità sta avvenendo in primo luogo?
Mentre alcuni problemi possono risiedere in pregiudizi di ricerca consci o inconsci, è probabile che la maggior parte degli studi che raggiungono la pubblicazione siano unici nel loro genere a causa dell'attuale struttura di incentivazione nella scienza.
Nel mondo accademico spietato, la misura principale del successo è il numero di studi che un ricercatore ottiene su riviste prestigiose. Di conseguenza, gli scienziati sono sotto pressione per dedicare la maggior parte del loro tempo a ottenere i tipi di risultati rivoluzionari che molto probabilmente verranno pubblicati.
"Sebbene diamo valore alla riproducibilità in termini concettuali, in realtà non lo apprezziamo in pratica", afferma Nosek, che è anche condirettore del Center for Open Science, una startup tecnologica senza scopo di lucro che lavora per favorire la trasparenza e la riproducibilità nella ricerca scientifica.
“I veri incentivi che guidano il mio comportamento di scienziato sono l'innovazione, la scoperta di nuove scoperte e il lancio di nuove basi, non per ripetere ciò che altri hanno fatto. Questa è la parte noiosa della scienza. "
Gli scienziati vedono anche pochi incentivi per fornire le informazioni necessarie agli altri per replicare il loro lavoro, che è uno dei motivi principali per cui le affermazioni di così tanti studi rimangono non verificate.
"Non sono ricompensato per aver reso disponibili i miei dati o precisato la mia metodologia in modo più approfondito rispetto a quanto è necessario per entrare in una pubblicazione", afferma Nosek.
Molte riviste chiedono agli scienziati di fornire una spiegazione dettagliata dei loro metodi e di condividere i dati, ma queste politiche raramente vengono applicate e non esistono standard di pubblicazione universali.
“Se sapessi che non ci sarebbero mai stati poliziotti sulle strade, mi sarei sempre attenuto al limite di velocità? No, è la natura umana ", afferma Ivan Oransky, co-fondatore di Retraction Watch, un'organizzazione che promuove la responsabilità e la trasparenza monitorando le retrazioni nella letteratura scientifica. "Se sai che nessuno ti sanzionerà, non condividerai i dati".
Gli scienziati che desiderano condurre lavori di replica e sono in grado di ottenere dettagli sperimentali difficilmente troveranno finanziamenti da agenzie pubbliche come l'NIH, che giudicano principalmente le domande di sovvenzione basate su novità e innovazione.
"Le probabilità sono chiaramente contro la replica", afferma Ioannidis.
È qui che può emergere il campo emergente della meta-ricerca. Organizzazioni come il Center for Open Science e il Meta-Research Innovation Center di Stanford (METRICS) stanno lavorando per aiutare a riallineare il sistema di ricompensa e stabilire rigidi standard universali che incoraggeranno a diffondere maggiormente pratiche di trasparenza e riproducibilità.
"Se i livelli di finanziamento o la promozione dipendessero da ciò che è accaduto alla tua ricerca precedente, se fosse replicabile, se le persone potessero dargli un senso, se le persone potessero tradurlo in qualcosa di utile piuttosto che solo in quanti articoli hai pubblicato, sarebbe un forte incentivo a cambiare la ricerca per renderla più riproducibile ", afferma Ioannidis, che è condirettore di METRICS.
"Spero che questi indicatori migliorino", aggiunge. "E per alcuni di loro, non c'è altra possibilità se non quella di salire, perché partiamo da zero."
