Blant de mer «høyverdige» metodene innenfor forskning finner vi den randomiserte, kontrollerte studie (RCT). RCT − randomized controlled trial – omtales ofte som selveste gullstandarden innenfor evalueringsforskning, siden RCT-er gir de mest troverdige resultatene.
I en nylig publisert fagartikkel problematiserer forskere ved Atferdssenteret manglende randomisering gjennom eksempler hentet fra den norske effektstudien av den skoleomfatteende intervensjonsmodellen Positiv atferd, støttende læringsmiljø og samhandling i skolen (PALS).
Hindre for RCT
Dessverre er det ikke alltid slik at en helt tilfeldig kan fordele skoler eller elever til tiltaks- og kontrollgrupper. Mange skoleledere ønsker ikke å delta i undersøkelser som en ren kontrollgruppe, eller uten å vite hvilken av gruppene en skal delta i. Skal skolen – og elevene − bruke tid og krefter på å delta, vil rektorene gjerne sikre seg at de får noe tilbake, i form av eksempelvis en intervensjon, i dette tilfellet PALS.
Et annet kompliserende element var at Kunnskapsløftet startet opp omtrent samtidig med invitasjonen fra Atferdssenteret om å delta i evalueringsstudien, og mange skoler uttrykte at de hadde hendene fulle med det.
Å gjennomføre en RCT-studie ble under disse omstendighetene ikke mulig.
Grep for å styrke undersøkelsen
Det finnes likevel mange grep en kan ta for å styrke en ikke-randomisert studie – og dermed gyldigheten i slutningene om tiltakets effekt.
− Siden mange skolestudier må benytte enkle ikke-randomiserte design (ofte kalt kvasi-eksperiment), har validiteten i skolebaserte evalueringsstudier ofte blitt satt spørsmålstegn ved. Da gjelder det å ta forholdsregler som 
kan styrke denne, sier Mari-Anne Sørlie, forsker ved Atferdssenteret og førsteforfatter på en artikkel publisert i International Jourrnal of School & Educational Psychology. Medforfatter er Terje Ogden, forskningsdirektør samme sted.
− Artikkelen vår gir full transparens omkring forskningsdesignet og utvalgsprosedyrene vi benyttet, noe som kan ha overføringsverdi til andre undersøkelser hvor randomisering ikke er mulig. Vi har fulgt mange gode råd fra metodespesialistene.
Fulgte skoler gjennom fem år
I studien fulgte forskerne 65 skoler i årene 2007−2012. Under rekrutteringen av skoler til studien var det flere av skolene som ikke ønsket å delta dersom en skulle randomisere, altså plukke ut skoler til de to gruppene «på slump».
Dermed ble det nødvendig å finne andre gode måter å utforme studien på. Her er noen av de grepene som ble benyttet:
- Valg av skoler som i utgangspunktet liknet hverandre (stratifisering og matching).
- Innlemmelse av flere skoler og elever enn opprinnelig planlagt.
- Innsamling av informasjon mange ganger over tid og fra flere informantgrupper.
- I tillegg ble det innlemmet en ekstra gruppe med skoler som fikk et mindre omfattende tiltak – den såkalte «PALS komprimert»-intervensjonen − for å kunne sammenlikne effektene også med denne gruppen.
- Mange målepunkt, i dette tilfelle seks.
Valgene som ble tatt – og hvorfor
I artikkelen redegjør forfatterne for de ulike valgene de tok, og beskriver hvordan disse valgene kan styrke gyldigheten i resultatene fra studien.
− Det at vi la til alle disse elementene kan ha redusert viktige trusler mot validiteten ved undersøkelsen, sier Mari-Anne Sørlie.
− I fagartikkelen foretar vi dessuten statistiske sammenlikninger av kjennetegn ved skolene. Disse viser at tiltaks- og kontrollgruppene i utgangspunktet var ganske like – og dermed sammenliknbare. Det at skolene som skal sammenliknes og følges over tid er mest mulig like fra starten av, er en av de viktigste forutsetningene for høy indre validitet − og dermed for at slutningene om eventuelle intervensjonseffekter er til å stole på.
Artikkelen er nå fritt tilgjengelig. Klikk på referansen nedenfor.
