At Atferdssenteret skulle gjennom en grundig evaluering, har ligget i kortene helt siden senteret ble etablert i 2003. Det var til og med nedfelt i den avtalen som i sin tid ble inngått mellom (daværende) Barne- og familiedepartementet og Universitetet i Oslo. Evalueringen skulle omfatte både organisatorisk utforming og status for faglig oppbygging og innhold.
Og nå – over et tiår seinere – er den her. Forskningsrådet kunne dermed invitere til åpent møte, hvor komitéleder Anne-Dorthe Hestbæk, forskningsleder ved Det Nationale Forskningscenter for Velfærd i Danmark, kunne presentere rapporten fra evalueringskomiteen.
Blant de frammøtte var Atferdssenterets oppdragsgivere, BLD (Barne-, ungdoms- og inkluderingsdepartementet) og Bufdir (Barne-, ungdoms- og familiedirektoratet), ledere og medarbeidere ved Atferdssenteret, samt andre interesserte.
På Forskningsrådet hjemmeside ligger omtale og dokumenter knyttet til evalueringen av Atferdssenteret.
– Spennende og lærerikt
– Det har vært en fornøyelse å delta i denne evalueringen, og det har vært både spennende og lærerikt å få kunnskap om hvordan evidensbaserte programmer om barn og unges atferdsproblemer håndteres på Atferdssenteret, sier Anne-Dorthe Hestbæk, som ikke underslår at oppdraget har vært krevende.
– Et komplisert oppdrag i en komplisert organisasjon, erkjenner Anne-Dorthe Hestbæk, som var glad hun hadde i alle fall én fra Norge med i den bredt sammensatte komitéen av nordiske fageksperter. Marit Skivenes, professor ved Institutt for administrasjon og organisasjonsvitenskap ved Universitetet i Bergen, kunne underveis i prosessen klargjøre ulike sider ved den norske modellen.
En unik stilling
Atferdssenteret skiller seg på mange områder fra liknende fagmiljøer som arbeider med barn og unge med atferdsvansker. I nordisk sammenheng har ikke evalueringskomiteen funnet noen tilsvarende institusjon på det samfunnsvitenskapelige felt, som (nesten) utelukkende arbeider med utvikling, implementering og evaluering av evidensbaserte metoder, og mener at senteret på den måten har en unik stilling.
Atferdssenteret har med sin programutvikling og forskning bidratt med ny viten og nye erfaringer, som har vær etterspurt både i de nordiske landene og internasjonalt.
I rapporten uttrykker komiteen seg også på denne måten: Vi er svært imponert over Atferdssenterets arbeid – og ser fram til å følge Atferdssenteret i årene som kommer.
MST – eksempel på vellykket implementering
Rapporten inneholder en grundig beskrivelse av senteret slik det framstår i dag, samt ulike vedlegg. Senterets implementeringsvirksomhet er eksempelvis omtalt i en egen rapport, utført av Oxford Research.
Oxford Research skriver at Atferdssenteret «har tilfredsstillende strategier for å sikre implementering og kvalitetssikring for å føre evidensbasert kunnskap ut til praksisfeltet», og framhever ungdomsprogrammet MST (Multisystemisk terapi) som et godt eksempel på en vellykket implementering.
Tre grunnleggende spørsmål
I tillegg til beskrivelsene – og mange positive vurderinger av dagens virksomhet – forteller Hestbæk at komiteen også gjennomgående stilte spørsmål som: Er det mulig for Atferdssenteret å utvikle seg videre innenfor de rammene som finnes i dag? Bør en videreutvikle organisasjonen i sin nåværende form? Eller bør en endre kurs?
– Rom for kreative løsninger og idéutvekslinger
Komitéleder Anne-Dorthe Hestbæk hadde ingen ønsker om «å bevege seg inn på en slagmark eller entre en boksering». Hun håpet snarere at evalueringsrapporten ville kunne gi et rom for kreative løsninger og idéutvekslinger.
Komiteen har gjennom prosessen både besøkt senteret, intervjuet ansatte – og innhentet egenevalueringer fra senteret. De har hatt brukerseminar – og de har lest en rekke av senterets publikasjoner. En førsteversjon av rapporten var innom Atferdssenteret for faktasjekk.
Fra 2009 til 2014
Evalueringen dekker årene 2009−2014. Publiseringsvirksomheten viser at
-
Senterets folk er produktive
-
Mange fagfellevurderte artikler i anerkjente tidsskrift
-
Ca. 80 prosent er i internasjonale tidsskrift
-
1/5 på høyeste nivå
Evalueringskomiteen hadde under prosessen utlyst et oppdrag for utarbeidelse av en forskningsoversikt. Oppdraget gikk til NOVA, og komiteen mener at også denne tilsier at Atferdssenteret, sammenliknet med liknende miljøer, står sterkt.
Tenkepunkter og anbefalinger framover
Komitéleder Anne-Dorthe Hestbæk og hennes mannskap hadde samlet seg om enkelte områder, som de ønsket å utfordre Atferdssenteret på.
Om publikasjoner og formidling
-
Publikasjonene har høy kvalitet. Atferdssenteret har et nasjonalt ansvar for å gjøre kunnskap tilgjengelig for praksisfeltet. Burde en vurdere å legge mer vekt på ikke-fagfellevurderte publikasjoner? Til praksisfeltet bør man servere på sølvfat. Mindre akademisk – mer popularisert.
-
Anbefaler en tydeliggjøring av hvem som er målgruppe for de ulike publiseringene, og å arbeide mer målrettet mot de profesjonelle brukerne.
-
Anbefaler ytterligere refleksjoner over egne metoder; fortelle om fordeler og ulemper, muligheter og begrensinger ved metodene som evalueres.
Om samarbeid med andre
-
Hvordan komme i posisjon overfor lærestedene?
-
Anbefaler å søke økt samarbeid med høgskolene. For en sterkere bro mellom forskning, utdanning og praksis. For eksempel gjennom felles artikler som kan bli undervisningsmateriell.
-
Spør seg om det ikke også er rom for økt nordisk – og europeisk – samarbeid.
Om transparens og open access
-
Kunne senterets materiell og data være mer transparente og tilgjengelige for andre? Jf. tendensen i den internasjonale forskningsverden – som går i retning av mer åpenhet og deling av data.
-
Er det mulig at en gradvis tilstreber mer open access? At senterets vitenskapelige publikasjoner og programmateriale er fritt tilgjengelig og kan nedlastes uten kostnader?
-
Tenke mer på komponentanalyser.
-
Hva vil skje om kommunene får lov til å prøve ut enkeltkomponenter i et program?
Om uavhengighet i forskningen
-
Er det tilstrekkelig intern uavhengighet mellom forskningsavdelingen og utviklingsavdelingene?
-
Risiko for å framheve positive resultater / confirmation bias?
-
Framheve muligheter og begrensninger i alle studier!
-
Stimulere til replikasjonsstudier i andre forskningsmiljøer?
Og igjen: De store spørsmålene
-
Er det mulig for Atferdssenteret å utvikle seg videre innenfor dagens rammer?
-
Bør en videreutvikle organisasjonen i sin nåværende form?
-
Eller bør en endre kurs?
– Det er nå det begynner
Atferdssenterets oppdragsgivere, BLD og Bufdir, var på plass, og sa blant annet dette.
Eirunn Lysø (BLD): – Det kan se ut som om vi har lyktes med å legge til rette for et senter som løser utfordringene på en god måte, selv om det selvsagt også finnes forbedringsområder, ikke minst omkring dette med å formidle til praksisfeltet. Det er særlig nyttig for at senterets virksomhet kommer brukerne til gode.
Hege Hovland Malterud (Bufdir): – Det er godt å lese en rapport som har store ambisjoner på vegne av dem som senteret er satt til å hjelpe. Viktige spørsmål er «Hva kan barnevernlederne gjøre i sin implementeringsvirkelighet? Ikke bare hva de kan gjøre av gullstandard, men i sin virkelighet»? Atferdssenteret løser oppgavene sine på en god måte, og rapporten er et godt grunnlag å bygge videre på.
Atferdssenterets direktør, Terje Christiansen, benyttet anledningen til å takke.
– For oss ved Atferdssenteret er det nå det begynner! Takk til Anne-Dorthe Hestbæk for et verdifullt bidrag til Atferdssenterets videre utvikling. Et godt utformet mandat av BLD er blitt løst på en fortreffelig måte av Forskningsrådet. Takk til Rita Bergersen, som har holdt i det hele og sørget for at vi gjennom hele evalueringsprosessen er blitt hørt og invitert til å komme med innspill tilpasset prosessen.
– Atferdssenteret er nok en slags hybrid i sin oppbygging, men som miljøbevegelsen sier: I enkelte sammenhenger er hybrider å foretrekke. Vi har en omfattende forskningsvirksomhet, samtidig som vi utvikler og implementerer tiltak i tjenestene gjennom opplæring og kvalitetssikring. Vår hybrid har vært en god ting for dette fagfeltet, for barn og unge.
– Vår oppgave nå er å lytte. Hva kan gjøres bedre? Vi må se på det store bildet – den store utfordringen: Hva er best for utsatte barn og unge? Med tanke på vårt forestående arbeid med ny strategiplan for de neste fem årene, vil både rapporten og alle underdokumentene komme svært godt med!
Illustrasjon: Forskningsrådet
Portrett Anne-Dorthe Hestbæk: Det Nationale Forskningscenter for Velfærd
Portrett Terje Christiansen: Atferdssenteret