10 skäl till att vetenskapliga studier kan vara överraskande felaktiga

Vårt samhälle firar vetenskapen för dess noggrannhet och objektivitet, och allmänheten anser vanligen att bevis som publiceras i vetenskapliga tidskrifter är otvivelaktigt sanna. Det har dock skett ett antal alarmerande studier, särskilt med inriktning på biovetenskaplig forskning, vilket tyder på att vetenskaplig publicering kanske inte är lika tillförlitlig som vi skulle vilja tänka.

10Många prekliniska studier kan inte reproduceras

Det finns för närvarande en stor mängd forskning om cancerframkallande mekanismer. Tyvärr har översättandet av denna undersökning av att hitta mål för behandling visat sig svårt, eftersom misslyckningsgraden för kliniska prövningar inom onkologi är högre än de flesta andra områden. Och det verkar som om många av dessa misslyckanden kan skyllas på problem med den prekliniska forskningen som de grundades på.

En granskning fann att endast sex av 53 landmärke prekliniska cancerpapper skulle kunna reproduceras. Många av studierna som inte kunde reproduceras använde inte blindprovning, vilket innebar att testarna var medvetna om huruvida de hade att göra med kontrollgruppen eller experimentgruppen, vilket potentiellt ledde till att forskaren var bias. Andra studier visade sig endast ha presenterat resultaten som stödde deras hypotes, även om de inte var en bra representation av datasatsen som helhet. Förvånansvärt finns det ingen specifik regel som förhindrar detta och papper godkänns regelbundet för offentliggörande utan att presentera hela den uppsatta datamängden.

En annan studie tittade på 67 studier, mestadels inom onkologiområdet, och fann att mindre än 25 procent av publicerade data kunde reproduceras i labbet utan stora inkonsekvenser. Det här är nu ett så vanligt problem att riskkapitalbolagen uppenbarligen har en outtalad regel att cirka 50 procent av akademiska studier kommer att vara omöjliga att reproducera i sina industriella laboratorier.

9Negativa resultat är ofta inte publicerade

Ett negativt resultat inträffar när forskare hypoteser att något kommer att hända, men då upptäcker att de inte kan få det resultatet. En studie betraktade över 4.600 avhandlingar från alla discipliner mellan 1990 och 2007 och konstaterade att publiceringen av positiva resultat hade ökat med 22 procent under den perioden. Vid 2007 rapporterade en förvånande 85,9 procent av papper positiva resultat. Detta stöds av studier som visar att negativa meningar som "inga signifikanta skillnader" har sjunkit i användningen, medan signifikanta resultat är mycket mer benägna att rapporteras fullständigt. Om de publiceras kommer negativa resultat sannolikt bara att visas i lågtryckstidningar.

Denna publikationsperspektiv skapar faktiskt en hel del problem. För en början kan forskare ofta inte se om en studie redan har gjorts, vilket innebär onödig upprepning. Det kan också påverka resultaten av metaanalysstudier, som jämför all litteratur om en viss fråga. Publiceringsförspänning resulterar också i stort tryck för att uppnå positiva resultat, vilket kan leda till uppblåsta resultat, forskningsbrott eller färre risker som tas av forskare. När allt kommer omkring, om din framtida karriär baseras mest på huruvida du kan få positiva resultat att publicera, skulle det verkligen ha någon inverkan på hur du utformar din forskning och tolkar dina resultat.

8Peer Review Undvik ofta att upptäcka större fel

Genomgången av granskningsförfarandet är för närvarande guldstandarden för forskningshandlingar. Men när forskare medvetet gav felmälda biomedicinska papper till peer-granskare hos en stor akademisk förläggare fann de att granskarna endast upptäckte i genomsnitt 2,58 av nio stora fel. Ännu mer oroande, utbildning för att förbättra deras prestanda gjorde bara en liten skillnad. Faktum är att en hel fjärdedel av de 607 granskarna testade detekterade i genomsnitt en eller flera av felen. (I rättvisa avvisade vissa granskare faktiskt papperet utan att slutföra granska det, vilket innebär att de kanske har hittat fler fel om de hade fortsatt till slutet.)

Granskare var särskilt dåliga för att upptäcka fel relaterade till "analys av data och inkonsekvenser i rapporteringen av resultat". Detta kan kopplas till den dåliga förståelsen av statistik bland biologer. Det område som drabbades minst av träningen var att "sätta studien i sammanhang, både när det gäller den existerande litteraturen och vad gäller konsekvenserna av resultaten för politik eller övning." Det här är vettigt att mastera litteraturen om ett visst ämne tar lång tid att uppnå.

Andra studier nådde liknande slutsatser. En presenterade 221 granskare med ett tidigare publicerat papper som hade modifierats för att inkludera åtta fel. I genomsnitt upptäckte granskarna bara två av de nya felen. En annan fann att granskare misslyckades med att upptäcka minst 60 procent av de stora fel i ett papper om migrän (även om de flesta av granskarna fortfarande inte rekommenderade att acceptera studien för publicering). Sammanfattningsvis föreslår sådana papper att peer review processen inom biomedicinska vetenskaper har gott om utrymme för förbättring.

7Peer Reviewers blir sämre över tiden

Under 2009 framhöll en 14-årig studie ytterligare problem med granskningsförfarandet. Studien, som såg journalredaktörer bedömer kvaliteten på varje granskning som de fick, föreslog att peer reviewerprestanda minskade med i genomsnitt cirka 0,8 procent varje år. Dessa resultat stöds av ett 2007-dokument i PLOS Medicin, som fann att ingen typ av utbildning eller erfarenhet var en signifikant indikator på granskarens kvalitet, men att yngre forskare generellt tillhandahöll högkvalitativa recensioner. En undersökning från 1998 visade också att yngre vetenskapsmän gjorde sig bättre som peer-granskare, medan de på redaktionskanalerna försämrades.

Orsakerna till denna trend är inte tydliga, även om förslag innehåller kognitiv nedgång, konkurrerande intressen tar över eller ökade förväntningar vid granskning gör jobbet hårdare över tid. Det finns också några bevis på att äldre granskare är mer benägna att fatta beslut i förtid, misslyckas med att följa kraven för att strukturera en granskning och kan ha en minskad kunskapsbas då träningen blir föråldrad. Detta är oroande, eftersom ökad ålder ofta kommer med ökad auktoritet.

6 mest avvisade papper publiceras ibland någon annanstans

Efter peer review processen, kommer tidskrifter antingen avvisa ett papper eller acceptera det för offentliggörande. Men vad händer med de avvisade tidningarna? En studie följde papper som avvisades av Arbets- och miljömedicin, konstaterade att 54 procent av dem hamnade på annat håll. Intressant var mer än hälften publicerad av en grupp med sju andra stora tidskrifter i samma fält.

En liknande studie visade att 69 procent av papper som avvisades av en allmän jourtid publicerades sedan någon annanstans inom 552 dagar, medan en annan fann att hälften av studierna minskade med Kardiovaskulär forskning så småningom hamnade i en annan journal. En fjärde studie visade att 56 procent av avhandlingarna avvisades av American Journal of Neuroradiology så småningom hittade ett annat hem.

Innan du panikerar kan det helt enkelt innebära att avvisade papper förbättras innan de skickas till andra tidskrifter. Vidare avvisas inte alla papper för dålig metodik. Populära tidskrifter är ofta svåra att komma in på på grund av rymdbegränsningar, medan många papper avvisas helt enkelt eftersom ämnet kanske inte är rätt för den aktuella tidskriften. (De Kardiovaskulär forskning Studien stod för den sista möjligheten, och fann att de flesta av de artiklar som senare publicerades på annat håll inte avvisades på grund av ett olämpligt ämne.)

Som studier har visat är de mest prestigefyllda tidskrifterna föremål för en mycket högre grad av granskning. Faktum är att välkända tidningar tenderar att dra in fler papper än sina mindre prestigefyllda motsvarigheter, helt enkelt för att de får mycket mer granskning efter publicering. Så problemet är att ett felaktigt papper kan handlas runt till olika tidskrifter tills man samtycker till att publicera den, så att den kan skriva in den vetenskapliga rapporten. Därför tyder dessa studier på en skillnad mellan papperskvaliteten i olika vetenskapliga tidskrifter.

5Suspect Practices

Med det konstanta trycket på forskare att publicera positiva resultat finns det tecken på att förfalskning och annan misstänkt praxis är en vanlig förekomst. En meta-analys av 18 undersökningar visade att 1,97 procent av forskarna erkände att de förfalskade sitt eget arbete, 33 procent erkände andra misstänkta rutiner, 14,1 procent sa att de var medvetna om kollegor som förfalskade sitt arbete och 72 procent sa att de visste om andra misstänkta rutiner av kollegor . De sanna siffrorna kan vara ännu högre undersökningar av forskare och praktikantforskare fann att större procentandelar skulle vara villiga att delta i sådana metoder, även om de inte erkände att de faktiskt gjort dem redan.

Några av de tvivelaktiga rutiner som nämns inkluderar "droppande datapunkter baserade på en känsla av mage", "att inte publicera data som strider mot sin tidigare forskning" och "ändra design, metodik eller resultat av en studie som svar på pressen från en finansiering källan. "Dessa åtgärder kan vara mycket svåra att bevisa, och det kommer sannolikt att vara omöjligt att förhindra dem helt utan att förskjuta sig från ett system som är besatt av att publicera positiva resultat.

4Scientists Dela inte nog information

Under träning lärs forskarna att experiment ska skrivas upp på ett sätt som gör det möjligt för dem att helt återskapas från informationen som ingår. En 2013-studie som undersökde resursfördelningen i biomedicinsk forskning visade emellertid att 54 procent av forskningsresurserna (såsom typen av antikroppar eller organismer som användes i experiment) inte beskrivits tillräckligt noggrant för att de skulle kunna identifieras. En annan undersökning av djurforskning visade att endast 59 procent av papper inkluderade antal och karaktär hos de använda djuren. Utan sådan information är det mycket svårt att reproducera experiment exakt och därför verifiera resultaten. Det skapar också ett hinder för att upptäcka metodiska problem med en viss resurs.

Det har gjorts några försök att lösa problemet, inklusive ARRIVE-riktlinjerna, som syftar till att maximera rapporteringen av djurmodeller. Neuroscience Information Framework har också skapat antikroppsregistren, medan den prestigefyllda tidningen Natur har krävt ökad rapportering av resurser.

Författarna till 2013-studien noterade dock att endast fem av 83 biomedicinska tidskrifter hade noggrann rapportering. En oroande undersökning om biomedicinsk forskning lägger till detta bevis och visar att villigheten att dela alla resurser med andra forskare föll 20 procent mellan 2008 och 2012. Några av de undersökta forskarna sa att de skulle gärna dela data på personlig begäran men var mindre nöjda med sätta uppgifterna i en online-databas.

3Hoaxpapper

År 1994 skickade fysikern Alan Sokal en artikel till kulturstudiedagen Social Text som han avsiktligt fyllde med ostoppad "nonsens", samtidigt som han försäkrade sig om att "smickra redaktörernas ideologiska förutbestämningar." Sokals pappersbundna kvantfältteori till psykoanalys och hävdade att kvantmassaditet hade allvarliga politiska konsekvenser.Sokal ville bevisa att postmodernistisk teori hade blivit skild från verkligheten: "Incomprehensibility blir en dygd; allusioner, metaforer och puns ersätter bevis och logik. Min egen artikel är, om något, ett extremt blygsamt exempel på denna väletablerade genre. "

Medan Sokal satsade helt och hållet på kulturstudier har det också skett papper i datavetenskap. År 2014 avlägsnades en förbluffande 120 papper från publikationer ägda av Springer och Institutet för elektriska och elektroniska ingenjörer efter det att de upptäcktes att de var datorgenererade gibberish. Avhandlingarna gjordes med hjälp av en mjukvara som heter SCIgen, som ursprungligen utvecklades vid MIT 2005 som en del av ett försök att bevisa att konferenser inte var korrekt vetting av papper.

SCIgen kombinerar slumpmässiga strängar av ord för att skapa hoaxpapper, inklusive en som lovar att "koncentrera våra ansträngningar på att misshandla att kalkylblad kan göras kunskapsbaserat, empatisk och kompakt." Programmet visade sig vara mer populärt än dess skapare hade tänkt 120 borttagna papper hade alla framgångsrikt skickats till kinesiska konferenser och publicerades därefter. Springer noterade att de gör peer review innan publicering, vilket gör det ännu främling att de publicerade 16 av de falska papper.

Ett annat hoaxpapper, skapat av John Bohannon och som påstod att titta på anti-canceregenskaper hos en typ av lava, godtogs av 157 tidskrifter (98 avvisade det). Detta var trots att "någon granskare med mer än en högskolekännedom om kemi och förmågan att förstå en grundläggande dataplot borde ha upptäckt pappersbristerna omedelbart." Bohannon ville lyfta fram att många öppna åtkomsttidskrifter fokuserar för tungt på att tjäna pengar genom författarens publikationsavgifter, till och med på bekostnad av publicering av felaktig forskning.

2Psychology Som Ett Exempel på Problemen

Psykologin påverkas allvarligt av många av frågorna på denna lista. Forskning har föreslagit att cirka 97 procent av publicerade studier är positiva och problemet har kvarstått sedan åtminstone 1959. Vidare fann en undersökning att över 50 procent av psykologerna sa att de skulle vänta tills de fick positiva resultat innan de bestämde sig för att publicera. Mer än 40 procent erkände att de endast rapporterade studier som uppnådde ett positivt resultat. Det har föreslagits att detta beror på att psykologidskrift tenderar att gå till nya resultat över stränga. Oavsett orsaken har psykologin placerats bredvid psykiatrin och ekonomin, eftersom vetenskapens grenar sannolikt kommer att drabbas av publikationsbias.

Ett ytterligare problem är att psykologistudier sällan replikeras - eftersom många tidskrifter inte kommer att publicera raka replikeringar, finns det inte mycket incitament för forskare att sätta in ansträngningarna. En möjlig lösning är Psychfiledrawer, som publicerar replikationsförsök. Det finns emellertid fortfarande liten yrkesförmån att skicka in och vissa forskare har blivit avskedade av risken för kritik från kollegor.

Mer positivt har det varit en senaste press för studierreplikation och en lovande studie som fann att 10 av de 13 studier som försökte replikera producerade samma resultat. Även om detta inte löser bristen på publicerade negativa resultat, eller de allmänt nämnda problemen med statistisk analys, är det ett steg i rätt riktning.

1studier gjorda på möss kan ofta inte extrapoleras till människor

Många studier inom biomedicinska vetenskaper görs på djurmodeller, i synnerhet möss. Detta beror på att möss faktiskt har många likheter med människor, inklusive liknande biokemiska vägar. Omkring 99 procent av mänskliga gener har en mus homolog (gen med en gemensam förfader).

Men medan forskning på möss har lett till några anmärkningsvärda framgångar har det varit problem att översätta det till människor på områden som cancer, neurologiska sjukdomar och inflammatoriska sjukdomar. Nyligen forskning tyder på att trots de ovannämnda genetiska likheterna är gensekvenser som kodar för specifika regulatoriska proteiner väldigt olika mellan människor och möss.

Skillnaderna är särskilt viktiga i nervsystemet, där det finns många skillnader i hjärnans utveckling. Musen Neocortex-som är starkt kopplad till uppfattning-är mycket mindre utvecklad än den mänskliga ekvivalenten. Dessutom har symtomen på neurologiska sjukdomar ofta en kognitiv komponent, och skillnaderna i kognition mellan möss och människor är klart stora.

Så nästa gång du ser ett förvånande medicinskt genombrott som meddelas på nyheterna, var noga med att kontrollera om forskningen gjordes på möss eller människor.