Fel, fel, fel! The Economist om läget i forskningen

2013-10-21

The Economist har en oerhört bra artikel 19 oktober 2013 om en pågående kris i forskningen: Antalet fel i vetenskapliga publikationer är på tok för högt, och visar ingen tendens att minska. Tvärtom, olika mekanismer verkar idag åt fel håll. Nya idéer och åtgärder måste till för att vända trenden.

Jag har tidigare skrivit om problem i forskningen, och jag förde fram tanken att slarv var ett förmodligen viktigare problem än fusk. Artikeln i The Economist skriver visserligen inte just så, men deras resonemang vidimerar min slutsats.

Jag tänker inte referera The Economists artikel i detalj. Varje person som är det minsta intresserad av vetenskap bör läsa den! Jag har svårt att hitta något i den som jag tror The Economist har fått om bakfoten.

Artikeln avslutas med några ord från Bruce Alberts, välkänd biokemist (bl.a. författare till en av standardhandböckerna i fältet):

[Scientists themselves] need to develop a value system where simply moving on from one’s mistakes without publicly acknowledging them severely damages, rather than protects, a scientific reputation.

Ett annat citat ur artikeln från psykologen Brian Nosek, som pekar på konflikten mellan trycket att publicera, och att göra rätt:

There is no cost to getting things wrong. The cost is not getting them published.

Läs också den ledare som tidskriften har i samma nummer: Problems with scientific research: How science goes wrong där olika förslag till förändringar diskuteras.

Så vad kan göras? The Economist för fram ett antal förslag, alla värda att diskutera. Det finns dock en resurs som inte diskuteras så mycket, och som jag funderar på om den kunde tas tillvara: Forskarnas egen djungeltrumma. Forskare som verkar i ett fält tvingas studera andra konkurrerande forskares publikationer noga, eftersom de vill kunna bygga vidare på deras resultat. Det innebär ofta att man måste reproducera experimenten. Ibland går det bra, allt ser ut att vara korrekt. Ibland går det inte alls, och för det mesta förstår ingen varför. Det finns oftast ingen anledning att traggla vidare med det, man ger bara upp. Det ges inte mycket belöning för att man reder ut något sådant.

Denna sortens kunskap har ingen väg in i publikationer eller andra offentliga fora. Istället pratar forskare med varandra i pauserna på vetenskapliga konferenser om att "det där pappret av X i tidskriften Y måste vara skräp, vi får det inte att funka". Detta är djungeltrumman. Så småningom "vet" alla i fältet att vissa artiklar, som på ytan ser OK ut, i själva verket är trams. Men nykomlingar i fältet kan fortfarande ledas helt fel av dessa artiklar, eftersom det inte finns några tillgängliga noteringar om vad folk har kommit fram till.

Skulle man inte kunna tänka sig ett system där forskare skulle kunna dela med sig av denna sortens kunskap? En sorts trovärdighetsmentometer, där olika artiklar får bra poäng av andra forskare som lyckas reproducera resultaten, och dåliga om man misslyckas. Och inga alls för artiklar som ingen bryr sig om.

Självklart blir det svårt att undvika alla möjliga sorters försök att trixa med ett sådant system. Men kan det inte vara värt litet funderande?