10 motivi Gli studi scientifici possono essere sorprendentemente imprecisi

La nostra società celebra la scienza per la sua accuratezza e obiettività, e il pubblico in generale considera le prove pubblicate su riviste scientifiche indiscutibilmente veritiere. Tuttavia, ci sono stati una serie di studi allarmanti, incentrati in particolare sulla ricerca sulle scienze della vita, che suggeriscono che la pubblicazione scientifica potrebbe non essere affidabile come vorremmo pensare.

10 Molti studi preclinici non possono essere riprodotti

Attualmente c'è un'enorme quantità di ricerche sui meccanismi del cancro. Sfortunatamente, tradurre questa ricerca nella ricerca di obiettivi per il trattamento si è rivelata difficile, con il tasso di fallimento degli studi clinici in oncologia superiore rispetto alla maggior parte delle altre aree. E sembra che molti di questi fallimenti possano essere imputati a problemi con la ricerca preclinica su cui si basavano.

Una recensione ha rilevato che solo sei su 53 documenti cancerogeni pre-clinici possono essere riprodotti. Molti degli studi che non potevano essere riprodotti non utilizzavano test ciechi, il che significava che i tester erano a conoscenza del fatto che avessero a che fare con il gruppo di controllo o il gruppo sperimentale, portando potenzialmente a una distorsione da ricercatore. Altri studi sono stati trovati per presentare solo i risultati che hanno supportato la loro ipotesi, anche se non erano una buona rappresentazione del set di dati nel suo complesso. Sorprendentemente, non esiste una regola specifica che impedisca che questo e gli articoli siano regolarmente accettati per la pubblicazione senza presentare l'intero set di dati ottenuto.

Un altro studio ha esaminato 67 studi, principalmente nel campo dell'oncologia, e ha rilevato che meno del 25% dei dati pubblicati potrebbe essere riprodotto in laboratorio senza grosse incongruenze. Questo è oggi un problema così comune che le società di venture capital sembrano avere una regola non detta che circa il 50% degli studi accademici sarà impossibile da riprodurre nei loro laboratori industriali.

9 I risultati negativi spesso non sono pubblicati

Un risultato negativo si verifica quando i ricercatori ipotizzano che succederà qualcosa, ma poi scopriranno che non possono ottenere quel risultato. Uno studio ha esaminato oltre 4.600 articoli di tutte le discipline tra il 1990 e il 2007, rilevando che la pubblicazione di risultati positivi era aumentata del 22% in quel periodo. Entro il 2007, un sorprendente 85,9% di articoli ha riportato risultati positivi. Ciò è supportato da studi che dimostrano che frasi negative come "nessuna differenza significativa" sono diminuite nell'uso, mentre i risultati significativi hanno molte più probabilità di essere pienamente segnalati. Se vengono pubblicati, i risultati negativi probabilmente verranno visualizzati solo su riviste a basso impatto.

Questa distorsione della pubblicazione crea in realtà alcuni problemi. Per cominciare, gli scienziati sono spesso incapaci di vedere se uno studio è già stato fatto, il che significa ripetizione inutile. Può anche influenzare i risultati degli studi di meta-analisi, che confrontano tutta la letteratura su un particolare problema. Il bias della pubblicazione si traduce anche in un'enorme pressione per ottenere risultati positivi, che potrebbero portare a risultati gonfiati, cattiva condotta della ricerca o meno rischi per i ricercatori. Dopotutto, se la tua carriera futura si basa principalmente sulla possibilità di ottenere risultati positivi da pubblicare, ciò avrebbe certamente un impatto sul modo in cui progetta la tua ricerca e interpreti i risultati.

8Previsione dei cookie spesso non riscontra errori rilevanti

Passare il processo di revisione tra pari è attualmente il gold standard per i documenti di ricerca. Tuttavia, quando i ricercatori hanno dato di proposito dei documenti biomedici pieni di errori ai revisori di pari livello di un importante editore accademico, hanno scoperto che i revisori hanno rilevato solo una media di 2,58 su nove errori principali. Ancora più preoccupante, l'allenamento per migliorare le loro prestazioni ha fatto solo una piccola differenza. In effetti, un quarto dei 607 revisori testati ha rilevato una media di uno o meno errori. (In tutta onestà, alcuni revisori hanno effettivamente respinto il documento senza finire di rivederlo, nel senso che potrebbero aver trovato più errori se avessero continuato fino alla fine.)

I revisori sono stati particolarmente cattivi nel rilevare errori relativi a "l'analisi dei dati e le incongruenze nella segnalazione dei risultati". Ciò potrebbe essere collegato alla scarsa comprensione delle statistiche tra i biologi. L'area meno interessata dalla formazione era "mettere lo studio nel contesto, sia in termini di letteratura preesistente che in termini delle implicazioni dei risultati per la politica o la pratica." Questo ha senso, come padroneggiare la letteratura su un argomento particolare richiede molto tempo per raggiungere.

Altri studi hanno raggiunto conclusioni simili. Uno ha presentato 221 revisori con un documento precedentemente pubblicato che è stato modificato per includere otto errori. In media, i revisori hanno rilevato solo due dei nuovi errori. Un altro ha rilevato che i revisori non riuscivano a rilevare almeno il 60% dei principali errori in un documento sulle emicranie (sebbene la maggior parte dei revisori non raccomandasse ancora l'accettazione dello studio per la pubblicazione). Presi insieme, tali documenti suggeriscono che il processo di revisione tra pari nelle scienze biomediche ha ampi margini di miglioramento.

7Peer Reviewers peggiorano nel tempo

Nel 2009, uno studio di 14 anni ha evidenziato ulteriori problemi con il processo di revisione tra pari. Lo studio, che ha visto i revisori dei giornali valutare la qualità di ogni recensione ricevuta, ha suggerito che le prestazioni dei revisori dei pari diminuivano in media di circa lo 0,8% ogni anno. Questi risultati sono supportati da un documento del 2007 in Medicina PLOS, che ha rilevato che nessun tipo di formazione o esperienza era un indicatore significativo della qualità del revisore, ma che gli scienziati più giovani hanno generalmente fornito revisioni di qualità superiore. Un sondaggio del 1998 ha anche rilevato che gli scienziati più giovani hanno ottenuto risultati migliori rispetto ai revisori dei pari, mentre quelli sugli organi di redazione si sono comportati peggio.

Le ragioni di questa tendenza non sono chiare, sebbene i suggerimenti comprendano il declino cognitivo, il coinvolgimento di interessi in competizione o l'aumento delle aspettative nel rivedere il lavoro nel corso del tempo. Vi sono anche prove del fatto che i revisori più anziani hanno maggiori probabilità di prendere decisioni in modo prematuro, non rispettano i requisiti per strutturare una revisione e possono avere una base di conoscenza ridotta man mano che la loro formazione diventa obsoleta. Questo è preoccupante, poiché l'aumento dell'età spesso comporta un aumento dell'autorità.

6 I documenti rifiutati più vengono eventualmente pubblicati altrove

Seguendo il processo di revisione tra pari, i giornali rifiuteranno un documento o lo accetteranno per la pubblicazione. Ma cosa succede a quei documenti rifiutati? Uno studio ha seguito i documenti respinti da Medicina del lavoro e dell'ambiente, scoprendo che il 54% di loro è stato pubblicato altrove. È interessante notare che più della metà sono stati pubblicati da un gruppo di altre sette riviste importanti nello stesso campo.

Uno studio simile ha rilevato che il 69 percento dei documenti respinti da una rivista medica generale sono stati poi pubblicati altrove entro 552 giorni, mentre un altro ha trovato che almeno la metà degli studi è diminuita da Ricerca cardiovascolare alla fine finì in un altro diario. Un quarto studio ha mostrato che il 56% delle carte respinte dal American Journal of Neuroradiology alla fine ha trovato un'altra casa.

Prima di andare nel panico, questo potrebbe significare semplicemente che i documenti rifiutati sono migliorati prima di essere inviati ad altre riviste. Inoltre, non tutti i documenti sono rifiutati per una metodologia inadeguata. Le riviste popolari sono spesso difficili da ottenere a causa delle limitazioni di spazio, mentre molti documenti vengono rifiutati semplicemente perché l'argomento potrebbe non essere corretto per il giornale in questione. (Il Ricerca cardiovascolare lo studio ha rappresentato quest'ultima possibilità, constatando che la maggior parte dei lavori pubblicati successivamente altrove non sono stati respinti a causa di un argomento inadatto.)

Come hanno dimostrato alcuni studi, le riviste più prestigiose sono sottoposte a un controllo molto più approfondito. In effetti, le riviste ben note tendono a ritirare più documenti rispetto alle loro controparti meno prestigiose, semplicemente perché ricevono molto più controllo dopo la pubblicazione. Quindi il problema è che una carta imperfetta potrebbe essere scaricata in vari giornali fino a quando uno accetta di pubblicarlo, permettendogli di entrare nella documentazione scientifica. Pertanto, questi studi suggeriscono una discrepanza tra la qualità dei documenti in varie riviste scientifiche.

5 Pratiche sospette

Con la costante pressione sugli scienziati per pubblicare risultati positivi, vi sono indicazioni che la falsificazione e altre pratiche sospette sono un evento comune. Una meta-analisi di 18 sondaggi ha mostrato che l'1,97% degli scienziati ha ammesso di aver falsificato il proprio lavoro, il 33% ha ammesso altre pratiche sospette, il 14,1% ha detto di essere a conoscenza di colleghi che hanno falsificato il proprio lavoro e il 72% ha dichiarato di conoscere altre pratiche sospette dei colleghi . I numeri veri potrebbero essere ancora più alti - i sondaggi dei ricercatori e dei ricercatori di tirocinanti hanno rilevato che percentuali più grandi sarebbero disposte a prendere parte a tali pratiche, anche se non ammettevano di farlo già.

Alcune delle pratiche discutibili osservate includevano "la caduta di punti dati basati su un sentimento istintivo", "il mancato pubblicare dati che contraddicono la precedente ricerca" e "la modifica del design, della metodologia o dei risultati di uno studio in risposta alle pressioni di un finanziamento fonte. "Queste azioni possono essere molto difficili da provare e probabilmente sarà impossibile prevenirle interamente senza spostarsi da un sistema ossessionato dalla pubblicazione di risultati positivi.

4 Gli scienziati non condividono abbastanza informazioni

Nell'addestramento, agli scienziati viene insegnato che gli esperimenti dovrebbero essere scritti in un modo che consenta loro di essere completamente ricreati dalle informazioni incluse. Tuttavia, uno studio del 2013 che ha esaminato la condivisione delle risorse nella ricerca biomedica ha rilevato che il 54% delle risorse di ricerca (come il tipo di anticorpi o organismi usati negli esperimenti) non sono stati descritti in modo sufficientemente dettagliato da consentirne l'identificazione. Un altro studio sulla ricerca sugli animali ha rilevato che solo il 59% delle carte includeva il numero e il carattere degli animali utilizzati. Senza tali informazioni è molto difficile riprodurre gli esperimenti con precisione e quindi verificare i risultati. Crea inoltre una barriera per individuare problemi metodologici con una risorsa specifica.

Ci sono stati alcuni tentativi di affrontare il problema, tra cui le linee guida ARRIVE, che cercano di massimizzare la segnalazione di modelli animali. Il Neuroscience Information Framework ha anche creato registri anticorpali, mentre la prestigiosa rivista Natura ha chiesto una maggiore segnalazione delle risorse.

Tuttavia, gli autori dello studio del 2013 hanno notato che solo 5 su 83 riviste biomediche avevano rapporti rigorosi. Un sondaggio preoccupante sulla ricerca biomedica aggiunge a questa prova, dimostrando che la volontà di condividere tutte le risorse con altri ricercatori è scesa del 20 percento tra il 2008 e il 2012. Alcuni dei ricercatori intervistati hanno detto che sarebbero felici di condividere i dati su richiesta personale ma sono stati meno contenti di mettere i dati in un database online.

3 carte ceramiche

Nel 1994, il fisico Alan Sokal ha presentato un articolo alla rivista di studi culturali Testo sociale che ha intenzionalmente disseminato di "assurdità" senza fondamento, mentre contemporaneamente si assicurava di "adulare i preconcetti ideologici degli editori". Tra l'altro, il lavoro di Sokal collegava la teoria dei campi quantistici alla psicoanalisi e sosteneva che la gravità quantistica aveva serie implicazioni politiche.Sokal voleva dimostrare che la teoria postmodernista si era separata dalla realtà: "L'incomprensibilità diventa una virtù; allusioni, metafore e giochi di parole sostituiscono le prove e la logica. Il mio articolo è, semmai, un esempio estremamente modesto di questo genere ben consolidato. "

Mentre Sokal ha preso di mira gli studi culturali, anche le sciocchezze si sono verificate nell'informatica. Nel 2014, 120 documenti straordinari sono stati rimossi dalle pubblicazioni di proprietà di Springer e dell'Istituto di ingegneri elettrici ed elettronici, dopo aver scoperto che si trattava di un linguaggio senza senso generato al computer. I documenti sono stati realizzati utilizzando un software chiamato SCIgen, che è stato originariamente sviluppato al MIT nel 2005 come parte di un tentativo di dimostrare che le conferenze non erano carte di controllo adeguate.

SCIgen combina stringhe casuali di parole per creare carte false, tra cui una promettente di "concentrare i nostri sforzi per smentire che i fogli di calcolo possano essere resi basati sulla conoscenza, empatici e compatti." Il programma apparentemente si è dimostrato più popolare di quanto i suoi creatori intendessero: il 120 i documenti rimossi erano stati tutti presentati con successo a conferenze cinesi e successivamente pubblicati. Springer ha notato che fanno una revisione paritaria prima della pubblicazione, rendendo ancora più strano il fatto che abbiano pubblicato 16 dei documenti falsi.

Un altro documento falso, creato da John Bohannon e che pretendeva di esaminare le proprietà anti-cancro di un tipo di lichene, fu accettato da 157 riviste (98 lo respinsero). Questo nonostante il fatto che "qualsiasi recensore con più di una conoscenza della chimica del liceo e la capacità di comprendere una trama di base dei dati avrebbe dovuto individuare immediatamente le carenze del foglio." Bohannon voleva sottolineare il fatto che molte riviste di open access mettono a fuoco troppo pesantemente per fare soldi attraverso le tasse di pubblicazione degli autori, anche a costo di pubblicare ricerche imprecise.

2Psychology come un esempio dei problemi

La psicologia è gravemente influenzata da molti dei problemi in questa lista. La ricerca ha suggerito che circa il 97 percento degli studi pubblicati sono positivi e il problema persiste dal 1959. Inoltre, un sondaggio ha rilevato che oltre il 50 percento degli psicologi ha dichiarato che avrebbe aspettato fino a quando non avessero ottenuto risultati positivi prima di decidere di pubblicare. Oltre il 40% ha ammesso di aver riportato solo studi che hanno ottenuto un risultato positivo. È stato suggerito che ciò è dovuto al fatto che le riviste di psicologia tendono a cercare nuovi risultati rispetto a quelli rigorosi. Qualunque sia la ragione, la psicologia è stata affiancata alla psichiatria e all'economia dal momento che i rami della scienza hanno maggiori probabilità di subire pregiudizi di pubblicazione.

Un altro problema è che gli studi di psicologia sono raramente replicati - dal momento che molte riviste non pubblicheranno repliche dirette, non c'è molto incentivo per i ricercatori a impegnarsi. Una possibile soluzione è Psychfiledrawer, che pubblica i tentativi di replica. Tuttavia, c'è ancora un piccolo vantaggio professionale per la presentazione e alcuni ricercatori sono stati scoraggiati dal rischio di critiche da parte dei colleghi.

Più positivamente, c'è stata una recente spinta per la replica dello studio e uno studio promettente che ha rilevato che 10 dei 13 studi che ha provato a replicare hanno prodotto gli stessi risultati. Mentre questo non risolve la mancanza di risultati negativi pubblicati, né i problemi comunemente citati con analisi statistica, è un passo nella giusta direzione.

1 Studi fatti su topi spesso non possono essere estrapolati agli umani

Molti studi nelle scienze biomediche sono condotti su modelli animali, in particolare topi. Questo perché i topi hanno in realtà molte somiglianze con gli umani, inclusi percorsi biochimici simili. Circa il 99 percento dei geni umani ha un omologo di topo (gene con un antenato comune).

Ma mentre la ricerca sui topi ha portato a notevoli successi, ci sono stati problemi a tradurlo in esseri umani in aree come il cancro, le malattie neurologiche e le malattie infiammatorie. Ricerche recenti suggeriscono che, nonostante le somiglianze genetiche sopra menzionate, le sequenze geniche codificate per specifiche proteine ​​regolatorie sono molto diverse tra uomo e topi.

Le differenze sono particolarmente importanti nel sistema nervoso, dove ci sono molte differenze nello sviluppo del cervello. La neocorteccia del mouse, che è fortemente legata alla percezione, è molto meno sviluppata dell'equivalente umano. Inoltre, i sintomi delle malattie neurologiche hanno spesso una componente cognitiva, e le differenze nella cognizione tra topi e umani sono chiaramente vaste.

Quindi la prossima volta che vedrai una sorprendente scoperta medica annunciata sui notiziari, assicurati di controllare se la ricerca è stata fatta su topi o umani.