Tolkning av størrelse og betydning av effektestimater

Hvor stor eller viktig en effekt er vil variere etter type behandling, hva som er målt og ikke minst om pasienten opplever den potensielle effekten som betydningsfull.

Om noe er stort eller lite, er også alltid avhengig av kontekst – f.eks. kan en liten effekt i en hel populasjon være av stor betydning. Alle estimater på hva som utgjør liten, moderat eller stor behandlingseffekt er derfor kun å regne som tommelfingerregler (1,2). Tolkning av effektestimater og hva disse betyr i praksis og for pasienten selv er kanskje særlig vanskelig for kontinuerlige utfall som måles på en skala, slik som livskvalitet eller symptomer. Selv om det er en forskjell i effekt mellom to behandlingsformer på livskvalitet, er det ikke sikkert denne forskjellen kan «føles» av pasienten. Men om det er mye som står på spill, for eksempel frafall fra behandling eller alvorlige hendelser som selvmord, kan selv en liten forskjell oppleves som viktig.

Vi skiller derfor mellom hva som er en «statistisk signifikant» forskjell og hva som er «klinisk signifikant» forskjell (4). Det betyr at et funn kan ha klinisk signifikans selv om det ikke har statistisk signifikans- og omvendt. Signifikant betyr egentlig tydelig. At det er en tydelig effekt i statistisk forstand (at vi sannsynligvis ville finne omtrent den samme effekten hvis vi gjorde studien om igjen), er noe annet enn en klinisk betydningsfull forskjell; noe som virkelig monner for pasienten det gjelder.

Konfidensintervallet rommer mer informasjon enn begrepet statistisk signifikans, det er bokstavelig talt det intervallet vi har tillit til (4,6). Om studien ble gjort en gang til, ville en ikke finne akkurat den samme effekten, men i nesten alle tilfellene (typisk 95 av 100 tilfeller) ville resultatet ligge innenfor grensene for konfidensintervallet. Dette begrepet gir derfor umiddelbar informasjon både om størrelsen på effekten og presisjon (smalt intervall betyr presist estimat, vidt konfidensintervall betyr større usikkerhet).

Mangel på statistisk signifikans (eller vide konfidensintervall) kan skyldes at det er få deltakere eller hendelser i studiene (5). Få deltakere fører alltid til stor usikkerhet. Når noe forekommer sjelden (f.eks. dødsfall pga. behandling med legemidler), må studien romme veldig mange mennesker for å ha utsagnskraft (ellers blir resultatene veldig usikre).

Oppsummert forskning over alle tilgjengelige studier som evaluerer et gitt fenomen bidrar med statistisk styrke og reduserer usikkerhet ved å vekte og sammenstille funnene fra de inkluderte studiene.

Oversikt over effektterskler brukt i Tiltakshåndboka
Effektmål	Liten effekt	Moderat effekt	Stor effekt	Beskrivelse
Relativ risiko (RR)			RR<2	Relativ risiko beskriver forholdet mellom risikoen i to behandlingsgrupper (1). Hvis RR er 1, er risikoen like stor i de to gruppene. Er for eksempel RR lik 3, er risikoen tre ganger så stor i den ene behandlingsgruppen som i den andre. Les mer om relativ risiko her: http://handbook-5-1.cochrane.org/
Odds ratio (OR)			Odds på 1,68, 3,47, og 6,71 har blitt estimert til å tilsvare lav, moderat og høy effekt i samsvar med Cohen’s d. Cochrane handbook anbefaler omregning av OR til RR for å estimere terskel for høy effekt.	Forholdet mellom odds for en hendelse i en behandlingsgruppe og odds for en hendelse i en annen gruppe (1). Hvis OR er 1, er sannsynligheten for hendelsen tilsvarende i de to gruppene. Odds er sjansen for at noe hender (f.eks. at noen blir syk) sammenliknet med (dividert med) sjansen for at det ikke hender. Les mer om Odds ratio her: http://handbook-5-1.cochrane.org/
Standardisert gjennomsnittlig forskjell (SMD)	<0,2	0,5	>0,8	I forskning brukes ofte ulike måleinstrumenter for å måle et bestemt utall. For eksempel finnes det mange ulike skalaer for å måle livskvalitet. Når man ønsker å slå sammen resultater fra studier som har brukt ulike instrumenter, kan resultatene regnes om til standardisert gjennomsnittlig forskjell (1). Noen ganger er SMD også referert til som «d indeks». Les mer om SMD her: http://handbook-5-1.cochrane.org/
Cohen’s d	<0,2	0,5	>0,8	Cohen’s d er en variant av standardisert gjennomsnittlig forskjell (SMD) og beskriver forskjellen i gjennomsnitt mellom to behandlingsgrupper delt på det samlede standardavviket (3). En Cohen’s d skår på 0 betyr at det er liten eller ingen forskjell i effekt mellom behandlingsgruppene. Les mer om Cohen’s d her: https://en.wikipedia.org/wiki/Effect_size
Hedge’s g	<0,2	0,5	>0,8	Hedge’s g er svært lik Cohen’s d, men er bedre egnet for mindre utvalg. Les mer om Hedge’s g her: http://www.statisticshowto.com/hedges-g/
Number needed to treat (NNT)	>10	10-2	1	NNT er beregningen av hvor mange som må behandles for at én skal oppnå respons (4). Om NNT er 7, må 7 barn behandles for at 1 barn skal oppnå behandlingsrespons. For skade eller bivirkninger brukes gjerne NNH, altså number needed to harm. Den ideelle NNT er 1, hvor alle som blir behandlet oppnår behandlingsrespons. NNT står i et bestemt forhold til oppfølgingstid. Det kan være nyttig å regne om NNT til RR. Les mer om NNT her: https://no.wikipedia.org/wiki/NNT
Tau-U	0,20	0,20 til 0,60	>0,80	Tau-U er en effektstørrelse brukt for single-case-design. Den rangeres fra -1 til 1. Les mer her: https://www.jepusto.com/what-is-tau-u/

Forfattet av Astrid Dahlgren, tidligere redaktør Tiltakshåndboka, RBUP Øst og Sør og Arild Bjørndal, tidligere direktør for stiftelsen som omfatter RBUP, RVTS Øst og RVTS Sør.

(1) Higgins JPT, Green S, red. Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011] [Internett]. The Cochrane Collaboration, 2011. Tilgjengelig fra: http://handbook.cochrane.org

(2) Schünemann, H. Brożek, J. Guyatt G. Oxman A. GRADE Handbook, version October 2013 [Internett]. Tilgjengelig fra: http://gdt.guidelinedevelopment.org/app/handbook/handbook.html

(3) McGough JJ, Faraone SV. Estimating the Size of Treatment Effects: Moving Beyond P Values. Psychiatry (Edgmont). 2009;6(10):21-29.

(4) Bjørndal, A. Hofoss, D. Statistikk for helse- og sosialfagene. Gjøvik: Gyldendal akademisk 2. utgave, 1. opplag; 2004.

(5) Durlak JA. How to select, calculate, and interpret effect sizes. J Pediatr Psychol. 2009;34(9):917-28.

(6) Ronald L. Wasserstein, Allen L. Schirm & Nicole A. Lazar (2019) Moving to a World Beyond “p < 0.05”, The American Statistician, 73:sup1, 1-19. Tilgjengelig fra: https://www.tandfonline.com/doi/pdf/10.1080/00031305.2019.1583913?needAccess=true