Det er svært at argumentere imod videnskabens magt. Fra undersøgelser, der evaluerer den seneste diætetrend til eksperimenter, der belyser forudsigere om lykke, er mennesker kommet til i stigende grad at se på videnskabelige resultater som konkrete, pålidelige fakta, der kan styre, hvordan vi tænker og handler.
Relateret indhold
- Forskere gentog 100 psykologistudier, og færre end halvdelen fik de samme resultater
Men i løbet af de sidste flere år er en voksende kontingent af videnskabsmænd begyndt at stille spørgsmålstegn ved den accepterede ægthed af offentliggjort forskning - selv efter at det er ryddet hindrene for peer review og vises i vidt respekterede tidsskrifter. Problemet er en gennemgribende manglende evne til at gentage en stor del af resultaterne på tværs af adskillige discipliner.
I 2005 anvendte John Ioannidis, professor i medicin ved Stanford University, for eksempel flere simuleringer for at vise, at videnskabelige påstande mere sandsynligt er falske end sandt. Og denne sidste sommer forsøgte Brian Nosek, en professor i psykologi ved University of Virginia, at gentage resultaterne af 100 psykologistudier og fandt, at kun 39 procent af resultaterne blev holdt under streng re-test.
"Der er flere bevislinjer, både teoretiske og empiriske, der er begyndt at bringe reproducerbarheden af et betydeligt segment af videnskabelig litteratur i tvivl, " siger Ioannidis. ”Vi får millioner af papirer, der ikke kommer nogen steder.”
Disse foreløbige fund har givet anledning til oprettelse af et helt nyt felt kaldet metaforskning - den videnskabelige undersøgelse af videnskab.
Denne uge lancerede biologiens arm fra det offentlige bibliotek for videnskab (PLOS), en nonprofit forlag og fortalervirksomhed, en ny sektion, der udelukkende er dedikeret til metaforskning. Afsnittet vil undersøge emner som gennemsigtighed i forskning, metodologiske standarder, kilder til bias, datadeling, finansiering og incitamentstrukturer.
For at sparke tingene evaluerede Ioannidis og hans kolleger en tilfældig prøve af 441 biomedicinske artikler, der blev offentliggjort mellem 2000 og 2014. De kontrollerede, om disse artikler gav offentlig adgang til rå data og eksperimentelle protokoller, blev replikeret i efterfølgende studier, havde deres resultater integreret i systematisk gennemgang af et emne og inkluderet dokumentation af finansieringskilder og andre potentielle interessekonflikter.
Deres resultater var mildest talt besværlige. For eksempel leverede kun en undersøgelse fulde eksperimentelle protokoller, og nul undersøgelser leverede direkte tilgængelige rådata.
”Dette er to grundlæggende søjler til reproducerbarhed, ” siger Ioannidis. ”Medmindre data og den fulde protokol er tilgængelige, kan man ikke reelt gengive noget.” Tross alt, uden disse nøgleinformationer, hvordan kan et andet team vide nøjagtigt, hvad de skal gøre, og hvordan deres resultater adskiller sig fra dem i det originale eksperiment?
Holdet fandt også, at påstandene om kun otte af de undersøgte artikler senere blev bekræftet af efterfølgende undersøgelser. Og selvom mange af undersøgelserne hævdede at have nye fund, blev resultaterne af kun 16 artikler inkluderet i senere gennemgangsartikler, der tjener som en lakmustest for den sande virkning af en undersøgelse på et bestemt emne.
"De tal, vi får, er temmelig skræmmende, " siger Ioannidis. "Men du kan se det som en basislinje for hvor vi er nu, og der er masser af plads til forbedringer."
Imidlertid var ikke alle resultaterne nedslående. Procentdelen af artikler uden en erklæring om interessekonflikt faldt fra 94, 4 procent i 2000 til 34, 6 procent i 2014 - sandsynligvis et resultat af en stigende opmærksomhed om de skadelige virkninger af bias på forskningsresultater.
I en anden metaforskningsundersøgelse analyserede et tysk team, hvordan tabet af dyreforsøg under prækliniske forsøg kunne bidrage til den udbredte manglende evne til at oversætte laboratoriefund til nyttige kliniske lægemidler.
Forskningsdyr forsvinder muligvis fra en undersøgelse tilfældigt - for eksempel fordi dyret døde - eller gennem subtilt partisk handling, som at blive fjernet fra forsøget for at eliminere data, der undergraver de forventede resultater. Holdet demonstrerede, at den partiske fjernelse af dyreindivider kan skjule resultater og øge sandsynligheden for en falsk positiv - når et nyt stof antages at virke, men faktisk ikke fungerer.
I en separat analyse af prækliniske undersøgelser af slagtilfælde og kræft fandt de samme forskere, at de fleste artikler ikke rapporterede tilstrækkeligt tabet af dyreforsøg, og at de positive effekter af mange lægemidler, der testes, i høj grad kan overvurderes.
Så hvorfor sker denne krise i gennemsigtighed og reproducerbarhed i første omgang?
Mens nogle emner muligvis ligger i bevidste eller ubevidste forskningsfordelinger, er det sandsynligt, at de fleste undersøgelser, der når udgivelse, er en af de slags på grund af den aktuelle incitamentsstruktur i videnskaben.
I den akademiske verdens verdensomspændende verden er det primære mål for succes antallet af studier, som en forsker får i prestigefyldte tidsskrifter. Som et resultat er forskere under pres for at bruge størstedelen af deres tid på at opnå de slags gennembrudsresultater, der mest sandsynligt bliver offentliggjort.
”Selvom vi værdsætter reproducerbarhed i koncept, værdsætter vi det ikke rigtigt i praksis, ” siger Nosek, der også er meddirektør for Center for Open Science, en nonprofit-teknologistart, der arbejder for at fremme gennemsigtighed og reproducerbarhed inden for videnskabelig forskning.
”De virkelige incitamenter, der driver min adfærd som videnskabsmand, er at innovere, gøre nye opdagelser og bryde ny grund - ikke at gentage, hvad andre har gjort. Det er den kedelige del af videnskaben. ”
Videnskabsmænd ser også få incitamenter til at give de oplysninger, der er nødvendige for at andre kan gentage deres arbejde, hvilket er en af de primære årsager til, at påstandene fra så mange studier forbliver ubekræftet.
”Jeg bliver ikke belønnet for at stille mine data tilgængelige eller stave min metode i mere dybde end hvad der kræves for at komme i en publikation, ” siger Nosek.
Mange tidsskrifter beder forskere om at give en detaljeret forklaring af deres metoder og at dele data, men disse politikker håndhæves sjældent, og der er ingen universelle publikationsstandarder.
”Hvis jeg vidste, at der aldrig ville være nogen politi på vejene, ville jeg altid holde mig til hastighedsgrænsen? Nej - det er menneskelig natur, ”siger Ivan Oransky, medstifter af Retractions Watch, en organisation, der fremmer ansvarlighed og gennemsigtighed ved at spore tilbagetrækninger i videnskabelig litteratur. "Hvis du ved, at ingen vil sanktionere dig, vil du ikke dele data."
De videnskabsfolk, der ønsker at udføre replikationsarbejde og er i stand til at få eksperimentelle detaljer, er sandsynligvis ikke at finde finansiering fra offentlige agenturer som NIH, der primært bedømmer tilskudsansøgninger baseret på nyhed og innovation.
”Oddserne er klart mod replikation, ” siger Ioannidis.
Det er her det nye metaforskningsfelt kan trænge ind. Organisationer som Center for Open Science og Meta Research Innovation Center i Stanford (METRICS) arbejder for at hjælpe med at tilpasse belønningssystemet og sætter strenge universelle standarder, der vil tilskynde til mere udbredte gennemsigtighed og reproducerbarhedspraksis.
”Hvis finansieringsniveauer eller forfremmelse var afhængig af, hvad der skete med din forudgående forskning - hvis det kunne gentages, hvis folk kunne give mening af det, hvis folk kunne oversætte det til noget nyttigt i stedet for hvor mange papirer du har offentliggjort - ville det være et meget stærkt incitament til at ændre forskning for at blive mere reproducerbar, ”siger Ioannidis, der er meddirektør for METRICS.
”Jeg håber, at disse indikatorer forbedres, ” tilføjer han. "Og for nogle af dem er der ingen anden mulighed end at gå op, fordi vi starter fra nul."
