Evidensbaserad policy, validitet och relevans

Jag har i tidigare inlägg diskuterat evidensbaserad policy, och hur en systematisk tillämpning av detta skulle kunna innebära en revolution. I ett tidigare inlägg diskuterade Måns ett exempel på evidensbaserat bistånd. Gustav har skrivit ett inlägg om vanliga missuppfattningar vad gäller evidensbaserad policy.

Vi kan undersöka verkligheten på olika sätt. Vi kan observera den. Vi kan formulera teorier utifrån våra observationer. Och vi kan förstå framtiden med hjälp av dessa teorier. Dessvärre är dessa sätt att studera verkligheten sämre lämpade ju mer komplex den del som vi försöker studera är. Om vi ska studera kanonkulors rörelser räcker tämligen enkla teoretiska insikter för att göra imponerande förutsägelser. Samhället är betydligt mer komplext än så. Därför, menar anhängare av evidensbaserad policy, bör vi inte förlita oss på samhällsvetenskapliga teorier eller enkla observationer. Vi måste utföra kontrollerade experiment, där vi noga kontrollerar för irrelevanta variabler (confounders).

Randomiserade kontrollerade experiment (RCT) är alltså överlägsna all annan evidens när vi funderar på hur vi ska utforma en ny policy. Men det finns skäl att vara försiktig i att tolka, tillämpa och referera till RCT:s.

Filosofen Nancy Cartwright har i en serie artiklar och nu senast i boken Evidence Based Policy: A Practical Guide to Doing It Better, (Oxford University Press 2012) uttryckt berättigad skepsis mot övertro mot RCT:s. Cartwrights resonemang tydliggör vad RCT:s är till för. Liksom alla andra verktyg i den vetenskapliga verktygslådan blir det väldigt fel om man använder en hammare till att skruva in en skruv. Så vad är syftet med RCT?

En RCT är till för att ge oss kontextuell handlingsvägledande evidens. Den säger oss vad som funkar i den här specifika kontexten, men väldigt lite om de kausala mekanismerna inblandade i effekten. Det innebär dels att en bra RCT måste testas under så naturliga omständigheter som möjligt. Till exempel: om vi testar medicin A för att se om den kan bota tillstånd X, så kan vi inte utesluta patientgrupp P och låtsas som om den evidens vi fick av att testa patientgrupp Q självklart gäller för P. Det innebär också att en RCT som testats i en viss kontext inte ger oss särskilt god evidens i andra kontexter. Detta tycks vara triviala poänger, men det visar att evidensbaserad policy måste hela tiden sträva efter att generera kontextualiserad och lokal kunskap om vad som funkar.

Inom medicinsk vetenskapsteori har viss kritik framförts mot att förlita sig alldeles för mycket på RCT:s. De som förespråkar “science-based medicine” argumenterar vi inte bara kan kolla på resultaten av en RCT. Anta till exempel att vi har en RCT som bekräftar att homeopati funkar mot depression. Innebär det att vi ska skicka alla suicidala patienter till Vidarkliniken? Nej, det vore orimligt. Vi har nämligen starka teoretiska skäl att tro att homeopatiska preparat inte borde funka bättre än placebo (vatten) eftersom substanserna är identiska. Vår prior, alltså vår förväntade sannolikhetsbedömning att preparatet ska funka, är mycket låg. Givet att även många seriösa RCT:s innehåller allvarliga fel, så bör även en till synes väl genomförd studie som visar på effektiviteten hos homeopatiska preparat inte få oss att föredra dessa preparat än andra sådana. Inom samhällsvetenskapen är teorier sällan lika goda på att etablera priors. Men även här kan sådana finnas. Om en RCT visade att en sänkning av bensinskatten skulle leda till en kraftig sänkning av trafiken skulle jag gärna vilja se experimentet replikerat innan jag skulle rekommendera en sådan åtgärd.

Evidensbaserad policy handlar delvis om att nedgradera det epistemiska värdet från teoretiska resonemang vad gäller specifika interventioners effekt. Men det handlar alltså inte om att slänga ut dessa resonemang med badvattnet. Teorier behövs fortfarande för att generera hypoteser att testa, för att sätta priors, och för att göra en bedömning om hur relevant evidensen från en RCT i kontext A är i kontext B.

Publicerad fredag, oktober 25th, 2013 i filosofi, Karim Jebari, politik.

En kommentar

  1. Anders skriver:

    Självklarheter som inte borde behöver påpekas.

    Förklara gärna detta för Robert Hahn om det går. Han verkar lite låst i sitt resonemang.

    Robert Hahn medverkan i homeopaterna kampanjer är lite olycklig. Nu gör väl Robert Hahn många fler fel i sin argumentation.

Vad tycker du?