Vad är evidens?

Not: Detta inlägg har skrivits av Karim Jebari, och representerar inte konsensus inom nätverket i denna fråga.

Det här är det andra inlägget vars syfte är att bemöta en del invändningar mot vår debattartikel. En del missförstånd handlade om begreppet “evidens”. Vad är evidens, egentligen? Hade Nazisterna “evidens” för att den ariska rasen var alla andra överlägsen? Hade Sveriges politiker “evidens” för att tvångssteriliseringarna var riktiga? Hade domstolarna “evidens” för att Thomas Quick var mördare?

Låt oss börja från början. Evidens är ett vagt begrepp. När vi säger att någon har evidens för att tro påståendet P så menar vi att någon har goda skäl att tro P. Men vad är goda skäl? Det beror på sammanhanget Om frågan gäller huruvida jag har mjölk hemma kan en enkel observation utgöra tillräcklig evidens. Konsekvenserna av att missta sig vad gäller mjölkinnehav är sällan ödesdigra. Om frågan gäller huruvida betyg från årskurs fyra skulle hjälpa barn från studiesvaga hem att förbättra sina skolresultat har vi helt andra krav på evidens. Konsekvenserna av ett misstag är mycket allvarligare i det här fallet.

När vi undersöker en domän som är väl förstådd av våra bästa vetenskapliga teorier kan vi nöja oss med ett litet antal observationer för att vara säkra på vår sak. Vi kan till exempel vara ganska säkra på att ökade utsläpp av gödningsmedel i Östersjön kommer sannolikt att förvärra tillståndet med avseende på algblomning och döda havsbottnar.

Men våra bästa teorier om samhället är långt ifrån lika bra i att ge oss en möjlighet att göra den här typen av prediktioner baserade på teoretiska resonemang (mekanism-baserade inferenser på akademiska). De få prediktioner som samhällsvetenskapen kan göra är antingen vaga eller begränsade till väldigt specifika domäner. Så vad är tillräckligt bra evidens när vi gör prediktioner i den politiska sfären?

Det som är nytt i den globala rörelse för evidensbaserad policy som vi är en del av, är erkännandet av begränsningarna hos samhällsvetenskaplig teori som grund för policybeslut.

Så vad är alternativet? I tusentals år har människor använt sig av ett kraftfullt epistemiskt verktyg för att undersöka verkligheten, ett verktyg som inte förutsätter djup teoretisk förståelse av den underliggande mekanismerna. Detta verktyg kallas experiment. Ett experiment går ut på att man testar en intervention men försöker hålla kontrollgruppen så lik experimentgruppen som möjligt, så att man kan vara säker på att det observerade utfallet i experimentgruppen var en konsekvens av interventionen, och inte av något annat.

Inom evidensbaserad medicin gör man detta genom att randomisera (slumpmässigt välja ut) vilka som är experimentgruppen och vilka som är kontrollgruppen. Detta gör att båda grupperna är sannolikt likadana. Vidare använder man inom medicin en placebo för att göra studien blind. För att ytterligare öka kontrollen över variablerna så vet den person som ger medicin/placebo till experimentgruppen/placebogruppen inte vad den ger. Det kallas för “dubbelblind” design.

När vi gör samhällsvetenskapliga experiment kan vi sällan göra dubbelblinda experiment, men vi kan definitivt randomisera.

När man har ett antal resultat från randomiserade experiment, kan man sammanställa dem i en systematisk översikt där man tillämpa en statistisk metod som kallas för metaanalys. En metaanalys är ett sätt att kombinera resultat från många olika experiment och studier, och kan användas för att få ett sammanvägt resultat.

Dessa två verktyg används numera ofta inom evidensbaserad medicin, men inte särskilt ofta av statliga utredningar och utvärderingar. När jag talar om behovet av mer “evidens” i policyarbetet menar jag alltså:*

1. Att randomiserade experiment ska utföras när det är möjligt och rimligt av etiska skäl.

2. Att utredningar och utvärderingar ska utgå från metaanalyser och systematiska genomgångar av befintlig forskning inom ett område.

3. Att reformer och policyinterventioner ska introduceras, i den mån det är möjligt, på ett sätt så att genererar värdefull evidens, t ex genom att stegvis och randomiserat införa reformer.

Exempel:

En ny intervention för rehabilitering av våldsbrottslingar diskuteras. Ett antal personer i den avsedda målgruppen anmäler sig frivilliga att delta i programmet. Hälften av dessa blir föremål för interventionen, hälften hamnar i en kontrollgrupp. Lotten avgör vem. Efter en period undersöks återfallsfrekvensen hos de båda grupperna. Om randomiseringen gjorts korrekt, och gruppen är tillräckligt stor, kan man sägas ha evidens för huruvida interventionen fungerade eller ej.

*Märk väl att vare sig jag eller Nätverket anser att annan evidens (observationsstudier, anekdoter (”beprövad erfarenhet”), mekanism-baserade interferenser är värdelös eller aldrig bör användas. I vissa situationer måste beslut fattas snabbt och kostnaden av att inhämta evidens är oacceptabel. I andra situationer kan vi bara förlita oss på dessa typer av evidens. Skälet till att detta inlägg lyfter fram just randomiserade kontrollstudier är för att det är en typ av evidens som skulle kunna användas oftare.

Publicerad söndag, juni 7th, 2015 i Evidensbaserad policy, Karim Jebari, politik.

Vad tycker du?