Le riviste accademiche e la stampa servono regolarmente nuove scoperte di affascinanti risultati della ricerca psicologica. Ma quanti di questi esperimenti avrebbero prodotto gli stessi risultati una seconda volta?
Contenuto relativo
- Gli studi di scienza biomedica sono incredibilmente difficili da riprodurre
- Gli studi con titoli più brevi sono citati più spesso
- Perché così pochi scienziati stanno studiando le cause della violenza armata
Secondo il lavoro presentato oggi su Science, meno della metà dei 100 studi pubblicati nel 2008 su tre importanti riviste di psicologia potrebbero essere replicati con successo. Lo sforzo internazionale ha incluso 270 scienziati che hanno riproposto gli studi di altre persone nell'ambito del Progetto riproducibilità: psicologia, guidato da Brian Nosek dell'Università della Virginia.
I risultati rivelatori non significano necessariamente che quei risultati originali erano errati o che il processo scientifico è difettoso. Quando uno studio rileva un effetto che un secondo studio non è in grado di replicare, ci sono diverse possibili ragioni, afferma il coautore Cody Christopherson della Southern Oregon University. I risultati dello studio A potrebbero essere falsi, oppure i risultati dello studio B potrebbero essere falsi o potrebbero esserci alcune sottili differenze nel modo in cui sono stati condotti i due studi che hanno influito sui risultati.
“Questo progetto non è la prova che qualcosa sia rotto. Piuttosto, è un esempio di scienza che fa ciò che fa la scienza ", afferma Christopherson. “È impossibile sbagliarsi nel senso finale della scienza. Devi avere temporaneamente torto, forse molte volte, prima di aver ragione. "
Attraverso le scienze, la ricerca è considerata riproducibile quando un team indipendente può condurre un esperimento pubblicato, seguendo i metodi originali il più vicino possibile e ottenere gli stessi risultati. È una parte fondamentale del processo per la costruzione di prove a supporto delle teorie. Ancora oggi, 100 anni dopo che Albert Einstein presentò la sua teoria generale della relatività, gli scienziati ripetono regolarmente test delle sue previsioni e cercano casi in cui la sua famosa descrizione della gravità non si applica.
"Le prove scientifiche non si basano sulla fiducia nell'autorità della persona che ha fatto la scoperta", ha dichiarato la membro del team Angela Attwood, professore di psicologia all'Università di Bristol, in una dichiarazione "Piuttosto, la credibilità si accumula attraverso la replica indipendente e l'elaborazione delle idee e prove ".
Il progetto di riproducibilità, uno sforzo di crowdsourcing basato sulla comunità, è iniziato nel 2011 per testare quanto questa misura di credibilità si applichi alla recente ricerca in psicologia. Gli scienziati, alcuni reclutati e alcuni volontari, hanno esaminato un pool di studi e ne hanno selezionato uno per la replica che corrispondeva al proprio interesse ed esperienza. I loro dati e risultati sono stati condivisi online, esaminati e analizzati da altri scienziati partecipanti per l'inclusione nel grande studio scientifico .
Per aiutare a migliorare la ricerca futura, l'analisi del progetto ha tentato di determinare quali tipi di studi sono andati meglio e perché. Hanno scoperto che i risultati sorprendenti erano i più difficili da riprodurre e che l'esperienza o la competenza degli scienziati che hanno condotto gli esperimenti originali non aveva molto a che fare con una replica di successo.
I risultati hanno anche offerto supporto per lo strumento statistico spesso criticato noto come Valore P, che misura se un risultato è significativo o dovuto al caso. Un valore più elevato indica che un risultato è molto probabilmente un colpo di fortuna, mentre un valore più basso indica che il risultato è statisticamente significativo.
L'analisi del progetto ha mostrato che un basso valore di P era abbastanza predittivo di quali studi psicologici potevano essere replicati. Venti dei 32 studi originali con un valore P inferiore a 0, 001 potrebbero essere replicati, ad esempio, mentre solo 2 degli 11 articoli con un valore maggiore di 0, 04 sono stati replicati con successo.
Ma Christopherson sospetta che la maggior parte dei suoi coautori non vorrebbe che lo studio fosse preso come una forte approvazione dei valori di P, perché riconoscono i limiti dello strumento. E almeno un problema relativo al valore P è stato evidenziato nella ricerca: gli studi originali avevano una variabilità relativamente bassa nel valore P, poiché la maggior parte delle riviste ha stabilito un limite di 0, 05 per la pubblicazione. Il problema è che il valore può essere raggiunto essendo selettivo sui set di dati, il che significa che gli scienziati che desiderano replicare un risultato dovrebbero anche considerare attentamente i metodi e i dati utilizzati nello studio originale.
Inoltre, non è ancora chiaro se la psicologia possa essere un campo particolarmente difficile per la riproducibilità: uno studio simile è attualmente in corso sulla ricerca sulla biologia del cancro. Nel frattempo, Christopherson spera che il grande sforzo stimolerà ulteriori doppi controlli e rivisitazioni della ricerca passata per aiutare il processo scientifico.
“Fare la cosa giusta significa rivedere periodicamente le ipotesi passate e i risultati passati e trovare nuovi modi per testarle. L'unico modo in cui la scienza ha successo e è credibile se è autocritica ", osserva.
Sfortunatamente ci sono disincentivi nel perseguire questo tipo di ricerca, dice: “Per essere assunto e promosso in ambito accademico, è necessario pubblicare ricerche originali, quindi le repliche dirette sono più rare. Spero di andare avanti che le università e le agenzie di finanziamento responsabili dell'incentivazione di questa ricerca - e dei media che le coprono - si renderanno conto che hanno fatto parte del problema e che svalutare la replica in questo modo ha creato una letteratura meno stabile di noi mi piacerebbe. "
