Ungsinn.Tidsskrift for virksomme tiltak for barn og unge
https://doi.org/10.7557/25.7139
Simon-Peter Neumer
Regionsenter for barn og unges psykiske helse Øst og Sør
https://orcid.org/0000-0003-4370-8159
Marte Rye
Regionalt kunnskapssenter for barn og unge – nord (RKBU Nord) UIT Norges Arktiske Universitet
https://orcid.org/0000-0001-5253-4539
Solveig Holen
Regionsenter for barn og unges psykiske helse Øst og Sør
https://orcid.org/0000-0003-4976-4717
VIP Snakk om det er et helsefremmende og universalforebyggende tiltak som retter seg mot elever i videregående skole, primær ungdom i alderen 16 til 17 år. Hovedmålet for programmet er å gjøre elever bedre rustet til å ta vare på sin egen psykiske helse ved å øke skolens og elevers kunnskap om temaet, samt å gi informasjon om hvilken hjelp man kan få.
VIP Snakk om det ble tidligere kalt VIP-programmet, men skiftet navn i 2022. Det tidligere VIP-programmet startet som et prosjekt ved daværende Blakstad sykehus i Asker i år 2000. Unge medlemmer av Brukerrådet (nå Brukerutvalget i Vestre Viken) fortalte at de hadde opplevd mye uvitenhet i forhold til psykiske lidelser i perioden før de fikk behandling. Ut fra dette ble det foreslått å gi mer informasjon om psykiske lidelser i skolen. Brukerne mente at hvis de hadde fått slik informasjon før de ble syke, så ville de ha vært mer oppmerksomme på de begynnende problemene, og de ville trolig ha søkt hjelp tidligere. Programmet ble så utviklet av Brukerrådet og fagpersoner innen psykisk helse under ledelse av programmets grunnleggere Mona Vangsnes Lien og Anne Gro Tvedt. Siden 2020 har temaet Folkehelse og livsmestring blitt en del av norske læreplaner. Med overgangen til navnet VIP Snakk om det, vises det både til dialogen i klasserommet som sentralt ved tiltaket, samt oppfordring til elever om å snakke med noen når de har det vanskelig. Det innebærer også en oppfordring til lærere om å snakke med de unge om det som er vanskelig. VIP Snakk om det er et av flere tiltak som tilbys gjennom VIP Psykisk helse i skolen (https://vippsykiskhelse.no/). Øvrige tiltak inkluderer VIP Makkerskap og VIP Traumekurs for ansatte i skolen. VIP Psykisk helse i skolen eies av Vestre Viken helseforetak og finansieres av Helsedirektoratet.
I dag gjennomfører omtrent 120 videregående skoler VIP Snakk om det årlig.
Programmet er grundig beskrevet gjennom omfattende undervisningsmateriell med egne filmer og en nettside: https://vestreviken.no/vip-psykisk-helse-i-skolen/vip-snakk-om-det. Nettsiden inneholder mye informasjon og har egne faner rettet mot VIP-koordinatorer, ledelse, lærer og foreldre. Den inneholder tips, lenker til relevante nettsteder, anbefalinger, oppgaver til bruk i klassen, lenker til filmer, og lenker til podkasts. Det skriftlige materiellet ble sist revidert i 2019 og oppdateres kontinuerlig. Materiellet består av blant annet:
Målgruppen er elever i videregående skoler i alderen 16–17 år og skolens ansatte.
Ifølge hjemmesiden til VIP Snakk om det (https://vestreviken.no/vip-psykisk-helse-i-skolen/vip-snakk-om-det#bakgrunn-og-malsetting) står det at programmet har følgende hoved- og delmål:
Hovedmål:
Delmål:
På tiltakets hjemmeside understrekes betydningen av psykoedukasjon ved at alle elever skal få økt kunnskap og bli mer bevisste sin egen psykiske helse og hvordan de kan ta vare på den. Ved å gi elever kunnskap om hvor de kan få hjelp, tenker man at terskelen for å søke hjelp blir lavere og at man får hjelp før mindre problemer får vokse seg for store. Det fremheves at å oppdage og møte elever som strever psykisk tidlig, er av stor betydning for god prognose. Samtidig ønsker man at lavterskeltilbudene i helseapparatet og i kommunen blir synliggjort gjennom samarbeid mellom skolen og helsetjenesten, og at det blir lettere å finne frem for de som trenger hjelp.
Elevene får et undervisningsopplegg på minimum 3 timer med egen lærer der psykisk helse er tema, etterfulgt av et møte på minimum 2 timer med helsepersonell. I gjennomføringen av opplegget blir hjelpeinstanser som helsesykepleier, rådgivere, PPT-personell og den lokale psykiske helsetjenesten samt øvrig personell på skolen involvert. I forkant av undervisningen får lærerne opplæring i programmet, og det etableres samarbeidsstrukturer mellom skolen og hjelpeapparatet lokalt.
Gjennomføringen av tiltaket består av 6 faser. Tiltakseier anbefaler at det opprettes en koordinator på skolen med ansvar for gjennomføringen (rektor, rådgiver eller inspektør). I tillegg anbefales det å opprette en arbeidsgruppe med skole- og helsepersonell, som evt. kan bistå lærere i gjennomføring, særlig i oppstartfasen. De kan også være et ressursteam for videreutvikling av arbeidet med psykisk helse i løpet av skoleåret for både elever og lærere. Implementering av programmet skal forankres hos ledelsen ved skolen.
Opplæringskonferansen består av:
Det legges vekt på å snakke om og drøfte læreres unike mulighet til å kunne påvirke elevenes selvbilde positivt i møte med skoleoppgaver, samt betydningen av å fremme mestring hos elever. Betydningen av god kommunikasjon med ungdommen fremheves og det å lytte til deres budskap om egen skolehverdag vektlegges. Lærere oppfordres til å informere elevene om hva han/hun kan tilby dersom elevene har perioder med store psykiske utfordringer og synliggjøre skolens system for særskilt tilrettelegging.
Lærere får innspill på hvordan de kan møte elever i såkalte normale livskriser, ofte forbundet med ulike tapsopplevelser. Det drøftes hvor i skolen kontaktlærer kan henvende seg med spørsmål om elevenes psykiske helse (rådgivere, helsesykepleier og PPT) og hvor elevene kan henvende seg.
Det snakkes med skolepersonell om tegn på utvikling av psykiske problemer og lidelser hos ungdom. Stressfaktorer for utvikling av psykiske plager belyses, i tillegg til betydningen av et godt psykososialt miljø for både elever og lærere i skolen. Tiltaket legger vekt på at alle skolens hjelpeinstanser med helsesykepleier, rådgivere, PPT-personell og den lokale psykisk helsetjeneste deltar på opplæringskonferansen. Dette er viktig for å klargjøre mulig arbeidsfordeling for å kunne hjelpe ungdom med psykiske problemer best mulig i en tidlig fase.
Det anbefales at undervisningen er dialogbasert med arbeid i grupper der elevene selv får komme med egne tanker rundt temaene som tas opp. Det oppfordres til at lærere bruker elevheftet, som er en generell innføring i temaet psykisk helse og hvordan bli kjent med ulike følelser. Heftet har tekst om ungdom og følelser, normale problemer og mer alvorlige lidelser. For at elevene skal kunne arbeide med stoffet er det laget oppgaver basert på kasus med ulike problemstillinger og løsninger. I tillegg kan læreren benytte ulike gruppeoppgaver som finnes i «Ressursheftet for lærere». Det er også mulig å bruke kortfilmer om psykisk helse som ligger på programmets hjemmesider. Lærere som ønsker dette kan la elevene skrive ned spørsmål til helsepersonellet som kommer på klassebesøk (etter 1–2 uker), om det er noe de ønsker utdypning av. Hensikten med undervisningsopplegget er at psykisk helse skal avmystifiseres og at elever skal forstå at det er normalt med følelsesmessige svingninger. Elevene skal i tillegg få kjennskap til at det er mulig å få hjelp og hvor man kan få hjelp om man har det vanskelig. Det drøftes også hvordan ungdom kan være en god venn og hvordan klassemiljøet kan styrkes blant annet gjennom gode relasjoner.
Det anses som viktig at elevene arbeider med områder innen psykisk helse som de selv er interessert i, og at de drøfter disse temaene med sine medelever og lærer.
Lærere skal ikke opptre som fagpersoner, men være arbeidsledere på temaet psykisk helse. Det er av stor betydning at lærer viser at dette er et tema som er viktig å drøfte i klassen. Innledningsvis blir det påpekt at lærer må være tydelig på at timene ikke skal invitere til private historier fra elevene i klassen.
Om elevene har skrevet ned spørsmål til helsepersonellet i forkant, blir disse belyst. I tillegg drøfter fagpersonene med elevene hvor det er hjelp å få hvis de selv eller venner skulle få psykiske problemer. De informerer også om psykisk helsetjeneste og ulike helsefremmende-, forebyggende- og behandlingstilbud som finnes i tjenestene. Elevene får mulighet til å ta kontakt med helsepersonell i friminuttet og etter gjennomføring i klassen for en evt. oppfølgingstime hos helsesykepleier eller PPT. Klassens kontaktlærer skal delta i timene.
Det teoretiske grunnlaget for programmet er sammenfattet i et nyere dokument om tiltakets teoretiske rammeverk tilgjengelig på tiltakets nettside (Vestre Viken, 2022), samt beskrevet i ulike bokkapitler (Andersen, 2016; Andersen mfl., 2016; Tvedt mfl., 2012) og i tiltakets materiell. I rammeverket henvises det til ulike psykologiske, humanistiske og pedagogiske perspektiver samt empiri for hvordan programmet antas å virke (Vestre Viken, 2022). Blant annet vises det litteratur på at god psykisk helse har betydning for elevenes motivasjon og tilgjengelighet for læring (Holen & Waagene, 2014; Uthus, 2017). Det vises videre til empiri på hvordan både psykoedukasjon og lærerens rolle i elev–lærer relasjonen er av betydning for elevenes psykiske helse (Krane, 2017), og didaktiske suksesskriterier for å fremme helseatferd (Anderson & Dunn, 2013).
Det teoretiske fundamentet (Andersen mfl., 2016; Vestre Viken, 2022) er hentet fra blant annet «health literacy», eller helserelatert kompetanse (som for eksempel Nutbeam, 2008), salutogenese (Antonovsky, 1987), empowerment (Rappapon, 1984) og resiliens (Waaktaar, Torgersen, & Christie, 2007). Med helserelatert kompetanse vises det til folks evne til å tilegne seg, forstå og nyttiggjøre seg av relevante hjelpetiltak ved behov, og at det er en sammenheng mellom kunnskapsnivå om helserelaterte forhold og helsetilstand. Salutogenesen refereres til som en ny helhetlig og tverrfaglig teori om velvære som mange lærere er kjent med og som har fokus på menneskets mulighet for aktiv tilpasning mot stressorer. Med empowerment vises til som en prosess som gjør folk i stand til å øke kontroll over og forbedre egen helsetilstand. Andersen mfl. (2016) beskriver at «empowerment» viser til at det bygges beslutningskompetanse gjennom kunnskapsbygging. Tvedt mfl. (2012) viser til at resiliensforskning gir kunnskap om faktorer som fremmer og beskytter psykisk helse og hvor dette oppgis som relevant gjennom at VIP Snakk om det fokuserer på lærerrollen og lærerens mulighet til å påvirke og styrke beskyttelsesfaktorer rundt den enkelte elev. Det redegjøres også blant annet for forebygging og helsefremmende arbeid, risiko- og beskyttelsesfaktorer og betydning av spredning av kunnskap om psykisk helse blant unge (Andersen, 2016; Vestre Viken, 2022). Det tenkes at undervisning om psykiske problemer generelt, og det lokale hjelpeapparatet spesielt, vil gi økt kunnskap hos både syke og friske, større aksept for psykososiale problem, mer åpenhet og kontakt mellom de unge, endret atferd, lavere terskel for å søke hjelp og lavere problemnivå innen psykisk helse blant skoleungdom (Andersen, 2011).
I forkant av etablering av programmet forankrer VIP Psykisk helse i skolen innsatsen hos fylkesdirektør for utdanning, og deretter med rektorer og rektorkollegiene på skolene. VIP Psykisk helse i skolen har også kontakt med ledelsen for hjelpeinstanser i kommunene for å informere om prosjektet som vil pågå i skolene. Dette skal skape større trygghet for at elever som henvender seg med behov for hjelp vil bli møtt av tjenester som kjenner til VIP og målene med innsatsen. Toppledelsen for de psykiske helsetjenestene i kommunen og kommunale tjenester, blir kontaktet når skolene ønsker tiltaket, med forespørsel om de kan bidra med helsepersonell som kan komme på 2 timers klassebesøk til den enkelte klasse. Videre inviteres aktuelle instanser til å delta på opplæringskonferansen. I forkant av gjennomføringen skrives det kontrakt mellom VIP Psykisk helse i skolen og rektor på skolen som sikrer at skolen ivaretar sine forpliktelser i programmet.
Opplæringskonferansen og samarbeidsmøtet i fase to og tre skal gi lærere, andre skoleansatte og helsepersonell tilstrekkelig kunnskap til å kunne gjennomføre tiltaket slik det er beskrevet. Deretter skal det være mulig for deltakerne å gjennomføre skoleprogrammet og implementere det i deres distrikt. Kontakt med VIP Psykisk helse i skolen etableres for avklaringer og veiledning underveis.
VIP Psykisk helse i skolen tilbyr kontinuerlig undervisning og veiledning for lærere, helsesøstre, PPT-personell og ansatte fra lokalt psykisk helsevern/kommunal helsetjeneste som deltar i programmet.
Tiltaket spres ved at VIP Psykisk helse i skolen informerer direktørene for utdanning i de ulike fylkene om programmet. I tillegg presenteres VIP Snakk om det i ulike fora som foredrag på kongresser og posterstands samt at det publiseres artikler i ulike fagtidsskrifter. VIP-arbeidsgruppen sørger for media-dekning i radio, TV og aviser, og siste nytt presenteres på hjemmesiden: https://vestreviken.no/vip-psykisk-helse-i-skolen .
Med bakgrunn i at tiltakseier opplevde at en del lærere syntes at det var utfordrende å ha samtaler med ungdom om psykiske problemer, har det blitt lagt til en etterutdanning for lærere og helsepersonell i empatisk kommunikasjon. Etterutdanningen gir 15 studiepoeng og går over to semestre. Tilbudet holdes på Lærings- og mestringssenteret på Blakstad med VIP-personell som instruktører. Etterutdanningen er godkjent av Norsk sykepleierforbund med 40 timer meritterende for godkjenning til klinisk spesialist i sykepleie. I tillegg er det utviklet et traumekurs for skoleansatte, hvor hovedmålet er å gi de ansatte i skolen en større forståelse av hva traumer er, hvordan traumatiske reaksjoner kan arte seg og hvordan de voksne kan hjelpe. For mer informasjon, se https://vestreviken.no/vip-psykisk-helse-i-skolen/om-vip-psykisk-helse-i-skolen/traumekurs-for-skoleansatte.
Etter at VIP Snakk om det er gjennomført, anbefales skolens VIP-koordinator å oppsummere resultatene fra elevenes evalueringsskjema og avholde evalueringsmøte med ledelse, lærere og helsepersonell. VIP-sentralt ringer til nye skoler første gang de evaluerer VIP, for å høre hvordan gjennomføringen gikk. I tillegg tilbyr VIP erfaringskonferanser.
VIP Snakk om det er finansiert gjennom Helsedirektoratets finansieringsordning «Psykisk helse i skolen» og driftes av Klinikk for psykisk helse og rus, Vestre Viken HF. Rundt 120 skoler gjennomfører VIP-programmet hvert år. Programmet er gratis å gjennomføre for skolene, som kun betaler 10 kroner for trykte hefter til elever og lærere.
Formålet med denne artikkelen er å vurdere om VIP Snakk om det kan være virksomt benyttet i vanlig praksis i Norge.
To forskere gjennomgikk forskingsdokumentasjonen uavhengig av hverandre og identifiserte den aktuelle litteraturen for nordiske effektstudier, internasjonale kunnskapsoppsummeringer, samt andre norske evalueringer i henhold til kriteriene for klassifisering av tiltak i Ungsinn (Martinussen mfl., 2019).
VIP har tidligere vært beskrevet i Ungsinn (Neumer, 2012). Dette er en oppdatert versjon utarbeidet etter kriteriene fra 2019 (Martinussen mfl., 2019).
Litteratursøket resulterte i 15 treff hvorav totalt 3 artikler ble inkludert i denne kunnskapsoppsummeringen. Alle de 3 inkluderte artiklene var baserte på én norsk effektstudie og doktorgradsavhandling (Andersen, 2011). I tillegg finnes 3 norske evalueringsrapporter (Sorkmo & Hansen, 2001); (Hillestad & Udland Hansen, 2002); (Hillestad, 2004). De 9 resterende publikasjoner ble ekskludert fordi de ikke omhandlet VIP (K = 9).
VIP Snakk om det gir en beskrivelse av målgruppe, hovedmål og delmål. Målformuleringene i seg selv kan bidra til noe uklarhet omkring hvorvidt tiltakets hovedmål primært er å hjelpe elever med psykiske vansker til å søke hjelp så tidlig som mulig eller om målgruppen er alle elever. Samtidig beskrives tiltaket som å rette seg mot alle elever, hvor VIP Snakk om det ønsker å bidra til at elever gjennom informasjon og dialog blir mer bevisst egen psykiske helse og hvordan de kan ta vare på den.
Utforming av tiltaket og metoder som benyttes er godt beskrevet, til tross for at den teoretiske bakgrunnslitteraturen man referer til både er noe begrenset og generell og i liten grad redegjør for potensielle virkningsmekanismer. Det eksisterer opplæringsvideoer, arbeidshefter for ungdom og ressurshefte for utøvere av tiltaket. Det differensieres ikke eksplisitt mellom kjernekomponenter og andre deler av programmet. Ressursheftet inneholder forslag til hvordan arbeidet med psykisk helse kan gjennomføres i klassen, men det legges samtidig opp til stor grad av fleksibilitet i forhold til hvordan den enkelte lærer og helsearbeider arbeider med materiellet. Dette kan være positivt i den forstand at opplegget kan tilpasses den enkelte klasse, samtidig som man kan se for seg at gjennomføringen vil kunne se veldig ulik ut fra skole til skole, mellom klasser og basert på den enkelte lærer sitt fag og kompetanseområde. Med dette medfølger også en usikkerhet knyttet til om tiltaket gjennomføres i tråd med intensjonen. Som tidligere nevnt er det utarbeidet en omfattende hjemmeside, som også har lenker til tidligere forskning og brukernes erfaringer med å arbeide med VIP (https://vestreviken.no/vip-psykisk-helse-i-skolen).
Tabell 1| Dimensjoner i beskrivelsen | Ikke beskrevet | Noe beskrevet | Godt beskrevet |
|---|---|---|---|
| Problembeskrivelse | X | ||
| Målgruppe | X | ||
| Hovedmål | X | ||
| Sekundærmål | X | ||
| Utforming av tiltaket | X | ||
| Metoder som benyttes | X | ||
| Kjerneelementer/fleksibilitet | X | ||
| Utøvere av tiltaket | X | ||
| Manual/veileder for mottakere av tiltaket | X | ||
| Materiell for mottakere av tiltaket | X | ||
| Undersøkelser som styrker beskrivelsen | X |
Det er publisert artikler basert på en studie (se tabell 2) av tiltaket i regi av Folkehelseinstituttet (Andersen, 2011). Studien benytter et kvasi-eksperimentelt design med tiltak- og kontrollgruppe der data blir innhentet før intervensjon (pretest; t0), direkte etter (posttest; t1) og 6 (t2), 12 (t3) og 24 (t4) måneder etter. Både intervensjonsgruppen og kontrollgruppen er delt til to undergrupper, hvor den ene fikk spørreskjema før intervensjonen og den andre gruppen ikke. Formålet med en slik «Solomon-fire-gruppe-design» (Solomon, 1949) er å kontrollere for mulige sensitiveringseffekter gjennom pretest. Det vil si å undersøke om det å besvare selve kartleggingsskjemaet kan ha en effekt i seg selv. Utvalget som evalueringen er basert på består av ungdom (N = 880) i Akershus fra 64 klasser ved 28 skoler som deltok i intervensjonen og ungdom fra Vestfold (N = 811) fra 61 klasser ved 10 skoler som ikke mottok det aktuelle opplæringsprogrammet (Andersen & Nord, 2010). Andersen og Nord (2010) presenterer data om elevenes kunnskap om psykisk helse og kunnskap om hjelpeapparatet fra t0 til t1. Andersen mfl. (2010) presenterer data for hjelpsøking og psykisk helse på t2 og t3 mens Andersen mfl. (2012) presenterer data om kunnskap om psykisk helse og kunnskap om hjelpeapparatet fra t0 til t3. Data fra oppfølging etter 24 måneder (t4) presenteres ikke i artiklene. I denne kunnskapsoppsummeringen inkluderes ikke tall vedrørende psykisk helse da undersøkelsene her ikke inkluderer premål fra t0, noe som er redegjort for lengre ned.
Tabell 2| Studie/artikkel | Forskningsdesign | Deltakere | Utvalget | Måletidspunkter |
|---|---|---|---|---|
| Andersen og Nord (2010 | Kvasieksperimentell Solomon fire-gruppe design | N =715 ved t0 N = 1389 ved t1 N ved t2, t3 og t4 ikke beskrevet | Elever i første klasse Videregående (VK 1), 16–17 år; Intervensjonsgruppe, jenter 49,8 %; Kontrollgruppe, jenter 53,1 % | Pretest (t0) og posttest umiddelbart (t1), 6 (t2), 12 (t3) og 24 (t4) mnd. etter intervensjonen |
| Andersen, Johansen, og Nord (2010) | Samme utvalg og design som over | N = 1362 ved t2 N = 1227 ved t3 | Posttest umiddelbart (t1), 6 (t2) og 12 (t3) mnd. etter intervensjonen | |
| Andersen, Johansen, og Nord (2012) | Sammendrag av de to tidligere artiklene og t0 til t3 funn | N = 715 ved t0 N = 1368 ved t1 N = 1362 ved t2 N = 1227 ved t3 N ved t4 ikke beskrevet | Pretest (t0) og posttest umiddelbart (t1), 6 (t2), 12 (t3) og 24 (t4) mnd. etter intervensjonen |
Skåring av forskningsmetodisk kvalitet for de tre studiene er presentert i tabell 3.
Tabell 3| Studie | 1. Statistiske analyser | 2. Måling | 3. Indre validitet | 4. Tro mot tiltaket | 5. Ytre validitet | Gj. snitt |
|---|---|---|---|---|---|---|
| Andersen og Nord (2010) | 1,5 | 1,5 | 1,5 | 0 | 3 | 1,5 |
| Andersen et al. (2010) | 1,7 | 2 | 2 | 0 | 3 | 1,7 |
| Andersen et al. (2012) | 1,5 | 1,5 | 1,5 | 0 | 3 | 1,5 |
På grunn av en noe fragmentert og dels uklar presentasjon av analysene var det til dels utfordrende å få oversikt over resultatene og tabellene i artiklene. I artiklene beskrives det at det er gjennomført ulike typer analyser, både reliabilitetsanalyser, komponentanalyser, frekvensanalyser, t-tester og General Linear Modelling for å undersøke om det er endring mellom noen av måletidspunktene. I doktorgradsavhandlingen fremkommer det at det er brukt General Linear Modelling med repeterte målinger. Det vurderes som en svakhet ved artiklene at beskrivelsen av analysene på endringsforskjeller mellom gruppene er mangelfulle. Cohens d (Cohen, 1988) ble beregnet og signifikansnivå ble rapportert etter gjeldende retningslinjer. I noen av resultatene var ikke mål før VIP intervensjonen inkludert. Styrkeberegninger for studien er ikke rapportert.
Det hadde også vært interessant å vite hvorvidt forskjellig utvalgsstørrelse ved de ulike tidspunktene, samt eventuell intraklassekorrelasjon (ICC) mellom skolene og/eller klassene, er ivaretatt i analysene. ICC gir en indikasjon på om det er systematiske forskjeller mellom skolene og/eller klassene. Når man skal vurdere om det er behov for å ta hensyn til den hierarkiske strukturen i dataene, er det vanlig å beregne ICC og designeffekt (DEFF) (Peugh, 2010). I avhandlingen oppgir Andersen (2011) kun p-verdier som er justert for effekten av skoletilhørighet. Disse p-verdiene har stort sett tilsvarende verdi som de ujusterte verdiene, men sier ellers lite om en eventuell påvirkning på effektstørrelse. I noen justerte modeller endres også p-verdien fra signifikant til ikke-signifikant, uten at dette er kommentert eller diskutert.
Antall deltakere for hvert av måletidspunktene er ikke tydelig. I Andersen og Nord (2010) adderes antall deltakere i tabell 1 for t0 til N = 715 (N = 567 intervensjonsgruppe, gruppe1; N = 148 kontrollgruppe, gruppe 2), mens det i tabell 2 (personlige kjennetegn ved t0) rapporteres at det gjennomsnittlig er 598 deltakere for alle variablene (N = 475 intervensjonsgruppe; N = 123 kontrollgruppe). Siden det bare er denne gruppen som har mål før tiltaket settes i gang, (t0), er det bare denne gruppen som egner seg til å evaluere om tiltaket har effekt, se oversikt av resultatene i kolonne 1 tabell 4 nedenfor.
Videre rapporterer (Andersen mfl., 2012, s. 858) signifikante endringer i intervensjonsgruppen fra t0 til t3, men opplyser at elevene som inngår ved disse to tidspunktene bare delvis er de samme. Disse resultatene er oppført i tredje kolonne av tabell 4. Det er relativt mange elever som mangler ved de ulike måletidspunktene. Dette er ikke problematisert eller undersøkt nærmere i artiklene.
Ved målingen av en mulig sensitiveringseffekt viser det seg at en pretest (t0) med kunnskapsmåling har en effekt på kunnskap ved neste måletidspunkt t1 i seg selv, se tabell 6 i Andersen og Nord (2010). Ettersom det var ulik andel av elevene som var eksponert for premål i kontrollgruppen og intervensjonsgruppen kan dette ha hatt en innvirkning på de oppgitte effektstørrelsene av VIP intervensjonen.
Det ble i hovedsak brukt tre måleinstrumenter. En er utviklet av forfatterne og kartlegger konkret kunnskap om psykiske lidelser og hjelpeapparatet ved hjelp av 7 indekser. Disse måler kjennskap til psykiske lidelser (1 spørsmål), hvor elevene ble bedt om å angi ulike psykisk lidelser som de kjente til. Videre måles generell kunnskap om psykisk helse (6 spørsmål), kunnskap om ulike diagnoser (9 spørsmål), evne til å koble symptomer til diagnoser (1 spørsmål med 25 ledd), tillitt til behandlingsmetoder (2 spørsmål), kunnskap om helseapparatet generell (11 spørsmål) og kunnskap om nærmiljøets helseapparat (8 spørsmål). De fleste skalaene har lav intern konsistens målt med Chronbach’s alpha (α), hvor α varierer mellom 0,44 og 0,58 for fire av skalaene, mens kun skala for kunnskap om helseapparatet generelt har en tilfredsstillende α-verdi (0,72) og skala for evne til å koble symptomer til diagnoser har en utmerket α-verdi (0,97). Manglende informasjon om instrumentets øvrige måleegenskaper gjør at det er vanskelig å vite om instrumentet gir en dekkende og valid måling av kunnskap om psykiske lidelser og hjelpeapparatet.
Videre brukes fire egenutviklede spørsmål for elevers hjelpsøking i Andersen mfl. (2010). Disse enkeltspørsmålene omhandler kjennskap til andres problem, antatt håndtering av andres eventuelle problem, antatt håndtering hvis problem selv og kontakt med spesialisthelsetjenesten. Det foreligger ingen informasjon om måleegenskaper.
Den andre skalaen er hentet fra TOPP studien (Mathiesen, 2007) og har fem spørsmål som skal måle angst. Utenom en lav-tilfredsstillende Cronbachs alpha (0,68) er det ikke er gitt mer informasjon om instrumentets validitet.
I tillegg er Strength and Difficulties Questionnaires (SDQ, Goodman mfl., 1998) brukt som mål på psykisk helse. Dette er ett etablert instrument, som er benyttet i mange studier. Cronbachs alpha i denne studien er ikke rapportert, men (Kornør & Heyerdahl, 2013) rapporterer en svak til god Cronbachs alpha samlet for flere norske studier; for totale vansker rapporteres 0,75 og problemer med venner får i snitt 0,58. I Andersen mfl. (2010) ble elever som oppga at de hadde små eller store vansker vurdert etter en totalskår på SDQ, bedt om å besvare to enkeltspørsmål vedrørende hjelp fra andre og faktisk håndtering av eget problem.
I doktorgradsavhandlingen fremkommer det at valg av indikatorer er gjort med bakgrunn i VIPs mål og innhold, og ut fra definisjoner og terminologi i diagnosesystemer, faglitteratur og folkeopplysningsmateriell. Samlet sett er det likevel en generell svakhet at det i stor grad brukes instrumenter som er lite utprøvd. Det er også begrenset informasjon om måleinstrumentenes reliabilitet og validitet i det aktuelle utvalget og for sentrale utfallsmål.
Det ble benyttet et kvasi-eksperimentelt klyngedesign hvor man har ikke randomisert individer eller klynger av individer (her: skoler) tilfeldig til de fire forskjellige gruppene i Solomon-fire-gruppe-design. Dette begrenser den indre validiteten til resultatene, siden man i et slikt forskningsdesign ikke kan kontrollere for mulige forskjeller i intervensjons- og kontrollgruppe før gjennomføring av intervensjonen. Det kan med andre ord være systematiske forskjeller mellom intervensjonsgruppen og kontrollgruppen før oppstart, noe som kan påvirke resultatene. Dette betyr også at man ikke kan være sikker på om mulige forskjeller i intervensjons- og kontrollgruppen etter gjennomført intervensjon skyldes intervensjonen alene, eller om det for eksempel skyldes en skjevhet i utvalget. En randomisert kontrollert studie vil gi et sikrere svar på dette. Der blir deltakerne tilfeldig trukket (randomisert) til intervensjon og kontrollbetingelse, og gruppene skal derfor være så like som mulig i utgangspunktet. I effektstudien til VIP ble skolene i Akershus invitert som intervensjonsskoler. Deretter ble skoler i Vestfold som tilsvarte Akershus skolene på utdanningsnivå i den voksne befolkningen, topografi og geografi, inntektsnivå, tilbud innenfor somatisk og psykisk helse og generell helsetilstand, invitert til å være kontrollskoler. Et slikt kvasieksperimentelt design er relativt vanlig i skoleforskning, men åpner for seleksjon av utvalgte klasser/skolene til intervensjonsgruppen, for eksempel at de som er mer motiverte eller interesserte får programmet, noe som kan bidra til en større effekt av intervensjonen. Siden alle skolene som fikk tilbudet både i tiltaks- og kontrollgruppen takket ja til å delta, vurderes denne svakheten som mindre relevant her. Det ble undersøkt hvorvidt det var forskjell mellom intervensjon og kontrollgruppene ved t0 på utvalgte bakgrunnsvariabler (Andersen & Nord, 2010, tab. 2), men det ble ikke testet om disse forskjellene var signifikante. Prosentvis viser imidlertid tabellen en vesentlig høyere andel foreldre med mer enn fire års universitetsutdanning i intervensjonsgruppen sammenliknet med kontrollgruppen (48,3 % mot 24,8 % for fedre, 39,6 % mot 25,2 % for mødre). Det kan ikke utelukkes at dette påvirker effekten vedrørende kunnskap om psykisk helse i favør av intervensjonsgruppen. Det er imidlertid positivt at hele klasser ved skolene fikk intervensjonen eller var kontrollklasser. Dermed reduseres en mulig «smitteeffekt», det vil si at deltakere i kontrollgruppen får informasjonsmateriell eller opplæring i intervensjonen.
En ulempe med det valgte designet er at bare to av de fire gruppene har en reell pretest. Dette reduserer utvalget og statistisk styrke i effektevalueringen. Svarprosentene var ved t0 (før tiltaket) 80 % i tiltaksgruppen og 76 % i kontrollgruppen, noe som er bra. Også ved t1 (rett etter tiltaket) var svarprosenten god, med 76 % i tiltaksgruppen og 86 % i kontrollgruppen. Ved t2 (6 mnd.) var svarprosenten 89 % i tiltaksgruppen og 71 % i kontrollgruppen. Svarprosentene ved t3 (12 mnd.) var 74 % i tiltaksgruppen og 71 % i kontrollgruppen, noe som kan betegnes som akseptabelt.
Det savnes en mer detaljert oversikt vedrørende frafallsgrunner etter Consolidated Standards for Reporting Trials (Consort), som det i dag er vanlig å følge. I tillegg bør det rapporteres hvor mange deltakere som inngår i de statistiske analysene per måletidspunkt (Schulz, Altman, & Moher, 2010). Frafallet er med andre ord i noen grad vurdert, men ikke systematisk analysert og presentert.
Når det gjelder mål på mulig kunnskapseffekt, rapporteres det om positive effekter ved fem av de syv indeksene rett etter intervensjonen. Det var ingen signifikante forskjeller i endring mellom gruppene på indeksene som målte «tillit til behandlingsmetoder» eller «kunnskap om ulike diagnosers ytringsformer». Når det gjelder tillit til behandlingsmetoder kan dette skyldes at denne indeksen bare består av 2 spørsmål, eller at det er en takeffekt med en høy gjennomsnittlig maksskår ved t0 for intervensjonsgruppen (75 %) og kontrollgruppen (88,5 %) (Andersen & Nord, 2010). En takeffekt gjør det vanskelig å vise forskjeller på denne viktige variabelen fordi alle deltakerne i utgangspunktet har høy tillit til behandlingsmetodene.
Målene på psykisk helse (SDQ og angst) har ingen pre-mål, det vil si ingen rapporterte verdier før tiltaket ble gjennomført. De første postmålene viste også at det var store forskjeller mellom intervensjons- og kontrollgruppen, der intervensjonsgruppen skåret vesentlig høyere på problemskårene sammenlignet med kontrollgruppen. Hvis man tar utgangspunkt i at de to gruppene var like i utgangspunktet, kan en tenke seg at intervensjonsgruppen burde skåre lavere på vanskeskårene etter at intervensjonen var gjennomført, sammenliknet med kontrollgruppen. Hvis de to gruppene hadde ulike skårer i utgangspunktet, kan det imidlertid være naturlig at det er forskjell også etter intervensjonen. Derfor er det ikke mulig å vurdere om tiltaket har hatt effekt på psykiske vansker basert på resultatene som er tilgjengelige, og disse vil ikke bli rapportert i denne evalueringen.
Det er verdt å merke seg at flere av indeksene har lav indre konsistens og deres validitet er ikke rapportert. Dette betyr at vi ikke kan si med sikkerhet om de måler det de skal måle og at VIP Snakk om det virkelig har en positiv effekt på kunnskap om psykisk helse som resultatene tilsier. I tillegg viser det seg at pretesten ved t0 i seg selv har en effekt på kunnskap (Andersen & Nord, 2010, tabell 6) og det er derfor vanskelig å si med sikkerhet hvilken effekt som skyldes VIP intervensjonen og hvilken som skyldes spørreundersøkelsen om psykisk helse i seg selv.
I artiklene beskrives opplæringen og veiledningen som ligger til grunn for intervensjonen og at det foreligger en manual for gjennomføring. Det gjennomføres imidlertid ingen egen kvalitetssikring av innholdet eller lærers/ressurspersoner troskap til tiltaket i VIP-timene og tiltaket legger opp til stor grad av fleksibilitet både når det kommer til tematikk og gjennomføringsmetoder. Slik kan hver enkelt lærer tilpasse VIP-timene til hver enkelt klasse og utfra eget kompetansenivå, men det åpner også opp for at tiltaket kan gjennomføres nokså ulikt. Vi vet derfor heller ikke i hvilken grad intervensjonsskolene var tro mot tiltaket under evalueringen.
Ytre validitet sier noe om generaliserbarheten av studieresultatene. Studien ble gjennomført i et utvalg av ungdom i Akershus (intervensjonsgruppe, n = 880) og fra Vestfold (kontrollgruppe, n = 811). På grunn av det valgte studiedesignet er antall deltakere som kan inkluderes i evalueringen av selve intervensjonen ved pre- og posttest mindre. 16 klasser (11,9 %) ble tatt ut av det opprinnelige utvalget på 135 klasser på grunn av manglende språkforståelse og skriveferdigheter, noe som kan begrense ytre validitet og føre til en overestimering av programeffekten siden programmet nok vil føre til bedre resultater hos elever med god språkforståelse. Derfor kan en eksklusjon av ungdommer med manglende språkforståelse føre til bedre effekter og begrense den ytre validiteten, det vil si representativiteten til resultatene, siden ungdommer med manglende språkforståelse er en del av skolehverdagen i videregående.
Alderen for målgruppen i dette programmet er smal (vg1 elever, 16–17 år) og i denne studien 16 år, noe som gjør generalisering av effekten til yngre eller eldre målgrupper vanskelig. Videre er deltagerne fra et tett befolket område i Norge. Et mer representativt utvalg ville krevd deltagere fra ulike deler av landet samt fra områder med ulik skolestørrelse og befolkningstetthet. Ellers ser det ut til at VIP er gjennomført under samme betingelser som i vanlig praksis. Det er også gjennomført en rekke etterundersøkelser 6, 12 og 24 måneder etter intervensjonen, noe som styrker den ytre validiteten, men resultatene er ikke systematisk rapportert for alle variabler og tidspunkter. Resultatene for den lengste og dermed mest interessante etterundersøkelsen (24 måneder) som kan indikere mer varige effekter, er ikke rapportert (Andersen & Nord, 2010). Det er også bare gjennomført én studie. Dette begrenser den ytre validiteten av resultatene.
Tabell 4 gir en oversikt over utfallsvariablene for kunnskapsutvikling. Her vises perioden fra t0 til t1, det vil si før og etter at intervensjonen ble gjennomført (Andersen og Nord, 2010) og fra t0 til t3, det vil si fra før intervensjonen ble gjennomført og til 12 måneders oppfølging (Andersen mfl., 2012). Det ble identifisert signifikante forskjeller i endring mellom intervensjonsgruppen og kontrollgruppen for flere av de kartlagte variablene. Forskjellene var moderate og i favør av intervensjonsgruppen. For t0 til t1 gjaldt dette «kjennskap til psykiske lidelser» (Cohens d = 0,58), «generell kunnskap om psykisk helse» (d = 0,30), «evne til kobling av symptomer til diagnoser» (d = 0,34), «kunnskap om hjelpeapparatet generelt» (d = 0,51), «kunnskap om nærmiljøets hjelpeapparat innenfor psykisk helse» (d = 0,74). Det var ingen signifikante forskjeller i endring mellom gruppene i forhold til skalaene som målte «tillit til behandlingsmetoder» eller «kunnskap om ulike diagnosers ytringsformer». Fra t0 til t3 var det en signifikant større forbedring hos intervensjonsgruppen sammenliknet med kontrollgruppen på «generell kunnskap om psykisk helse» (d = 0,41), «kunnskap om hjelpeapparatet generelt» (d = 0,38), «kunnskap om nærmiljøets hjelpeapparat innenfor psykisk helse» (d = 0,39), og signifikant positive forandringer i vedrørende «kunnskap om ulike diagnosers ytringsformer» (d = 0,42) og «evne til kobling av symptomer til diagnoser» (d = 0,53) (Andersen mfl., 2012, se tabell 4). I tillegg rapporterer Andersen mfl. (2010) et signifikant funn vedrørende hjelpsøkning mellom gruppene rett etter intervensjonen (t0). I intervensjonsgruppen var det en reduksjon på 5,2 prosentpoeng hos andelen som oppga at de ikke ville foretatt seg noe om de fikk problemer selv (fra 20,3 % til 15.1 %) mens i kontrollgruppen var det en økning om 7,5 % fra 18,9 % til 26,4 %. Dette fortolkes av forfatterne som indikasjon på at programmet har ført til en positiv forandring, dvs. en økning i hjelpsøkning (Andersen mfl., 2010). Med bakgrunn i at analysene som ligger til grunn for resultatet er mangelfullt beskrevet, vurderes det at resultatet bør tolkes med forsiktighet.
Tabell 4 gir en oversikt over effektstørrelser for kunnskapsutvikling rapportert på de forskjellige måletidspunktene.
Tabell 4| Effektstørrelse d (pre-post test. t0-t1) Andersen og Nord (2010) | Effektstørrelse d (t0-t3 12 mnd. oppfølging) Andersen mfl. (2012, se tab. 2) | |
|---|---|---|
| Kjennskap til psykiske lidelser | 0,58* | -- |
| Generell kunnskap om psykisk helse | 0,30* | 0,41* |
| Evne til kobling av symptomer til diagnoser | 0,34* | 0,53* |
| Kunnskap om hjelpeapparatet generelt | 0,51* | 0,38* |
| Kunnskap om ulike diagnosers ytringsformer | -- | 0,42* |
| Tillit til behandlingsmetoder | -- | -- |
| Kunnskap om nærmiljøets hjelpeapparat innenfor psykisk helse | 0,74* | 0,39 |
Ingen internasjonale kunnskapsoppsummeringer ble funnet.
Vurderingen fra Rapport 2002:21 «Snakk med oss» av Statskonsult er en evaluering av informasjonsstrategien i forbindelse med Opptrappingsplanen for psykisk helse. Dette er en rapport for tiltak rettet mot barn og unge, som også evaluerer VIP. Rapporten er en brukerfornøydhetsundersøkelse basert på en hovedfagsoppgave i psykologi ved Universitet i Oslo (Sorkmo & Hansen, 2001), se også avsnitt vedrørende brukerfornøydhetsundersøkelser nedenfor. Rapporten er basert på 896 elever. VIP vurderes i rapporten positivt og forfatterne konkluderer med at elevene har høy motivasjon for å bearbeide informasjon om temaet psykisk helse, og at de i liten grad har gjort dette før. Elevene gir også uttrykk for at det er blitt lettere å snakke om temaet etter at prosjektet er gjennomført.
I rapporten «Stå på – dere gjør en bra jobb.» evalueres gjennomføring av VIP-prosjektet ved Jessheim videregående skole (Hillestad, 2004) gjennom en kvantitativ spørreundersøkelse og kvalitativ dybdeundersøkelse. Hillestad påpeker at undersøkelsen tyder på at elevene etter gjennomføring av prosjektet i stor grad opplevde at de visste hvor de skulle gå dersom de trengte hjelp; 81 % av elevene svarte dette. Videre oppga 60.9 % av elevene at de hadde relativt stor tillit til hjelpeapparatet. Vel 82 % opplevde klassebesøket fra spesialisthelsetjenesten som verdifullt.
Oppsummeringer av elevevalueringene (som gjennomføres som en del av programmet) finnes på https://vestreviken.no/vip-psykisk-helse-i-skolen. Erfaringene viser at tiltaket er godt likt av ungdommene. De oppgir at de blir tryggere på hvor de kan søke hjelp og at de har fått mer forståelse for livets opp- og nedturer, og hvordan de kan takle utfordringer i hverdagen (https://vestreviken.no/vip-psykisk-helse-i-skolen/vip-programmet#dette-sier-elever-og-laerere).
I undersøkelsen fra Universitet i Oslo (Sorkmo & Hansen, 2001) ble 896 elever spurt om deres vurdering av VIP. Dette er samme undersøkelse som er beskrevet i rapporten «Snakk med oss» fra Statskonsult. Her beskrives programmet som lærerikt av elevene. Språket og form blir positivt vurdert. Deltakerne kan kjenne seg igjen i fremstillingen av problemene. I alt sier 62 % av elevene at de er villige til å søke hjelp dersom de selv skulle få psykiske problemer. De fleste vil først oppsøke venner, deretter familie og lege/psykolog. Til sammen 96 % opplevde det svært positivt å få besøk av fagpersonell fra spesialisthelsetjenesten i klassen, selv om det kritiseres at tiden for dette emnet er for kort.
| Kategori | Ja | Nei | Ikke relevant |
|---|---|---|---|
| Implementeringsstøtte | X | ||
| Kvalifikasjonskrav | X | ||
| Opplæring | X | ||
| Sertifiseringsordninger | X | ||
| Monitorering av fidelity/etterlevelse | X | ||
| Veiledning | X | ||
| Identifisering av målgrupper | X | ||
| Kartlegging og vedlikeholdsverktøy | X | ||
| Strategier for tilpasning | X | ||
| Samlet skåre | ∑ 4/9 | ||
VIP Psykisk helse i skolen gir bred implementeringsstøtte ved eget Lærings – og mestringssenter i Vestre Viken HF i samarbeid med Helsedirektoratet. Senteret arbeider med å forankre VIP-sentralt hos direktøren for utdanning i de relevante fylkene, deretter hos rektorene på skolene. VIP tar også kontakt med toppledelsen for psykisk helsetjeneste i kommunen og kommunale tjenester når skolene ønsker tiltaket.
Det er helsepersonell og kontaktlærer som gjennomfører tiltaket og som må gjennomgå opplæringen, men utover dette er det ingen kvalifikasjonskrav til utøvere av tiltaket.
VIP tilbyr opplæring og veiledning for alle skoler som deltar og kvalitetssikrer programmet sentralt. Opplæringen på skolen gjennomføres av to representanter fra VIP-sentralt. Tidsrammen for opplæringen er en dag (minimum 6,5 timer). Den første delen av dagen er for alle ansatte ved skolen, hvor det sees nærmere på temaer knyttet til ungdom og psykisk helse, elever som strever og temaer skolen anser som spesielt viktige. Den andre delen av dagen er (som oftest) delt i to parallelle sesjoner, en for kontaktlærere i de klassene som skal gjennomføre (minimum hele Vg1) og en for ressurspersoner fra helse- og sosialfeltet. I parallellsesjonene gjennomgås mulige opplegg for det lærere og ressurspersoner skal gjennomføre med elevene i klassene. Det lokale VIP teamet står for informasjon til elever og foresatte, samarbeid med eksterne ressurspersoner fra helse- og sosialfeltet og VIP kick-off for elevene.
Etter at VIP programmet er gjennomført i klassen, gjennomføres en elektronisk evaluering for alle som har deltatt. Resultatene fra denne presenteres og diskuteres sammen med deltakende skoler, det lokale VIP-temaet og VIP-sentralt. Fokus i dette møtet er å si noe om hva som har fungert og ikke fungert i gjennomføringen av programmet, samt veien videre.
Det finnes ingen sertifiseringsordninger for personer som gjennomfører tiltaket. Gjennom opplæring og manual presenteres et anbefalt opplegg som gjennomføring av tiltaket, men det er ingen kvalitetssikring av fidelity som for eksempel kan undersøkes med hjelp av videoopptak under gjennomføring av tiltaket. Derimot gjennomføres det rutinemessige samlinger for evaluering av tiltaket.
VIP Snakk om det er et universelt program som gjennomføres i hele skoleklasser. Målgruppen for tiltaket er spesifisert. VIP retter seg mot første klasse på videregående skole, det vil si elever som er 16–17 år. Det eksisterer ingen ytterligere inklusjons- eller eksklusjonskriterier for deltakelse i programmet. Derfor er anbefaling av metoder for rekruttering eller identifisering av målgrupper ikke aktuelt.
VIP er et universelt tiltak. Derfor er strategier for tilpasninger til andre målgrupper også lite relevant.
Hovedmålet med denne artikkelen er å undersøke om VIP er et virksomt tiltak benyttet i normal praksis i Norge, basert på Ungsinns nye kriterier for klassifisering. Resultatene diskuteres derfor på bakgrunn av disse i påfølgende avsnitt.
VIP er et psykoedukativt program som retter seg mot Vg1 elever (16–17 år) i videregående skole. Gjennomføringen av programmet er basert på et tverrfaglig og tverretatlig samarbeid mellom skoler og eksisterende helsetjenester, noe som er innovativt for dette feltet. Programmet gir informasjon om psykisk helse og psykiske lidelser samt veiledning i hvordan man kan se og håndtere slike vansker. Tiltaket er godt beskrevet, og det foreligger omfattende undervisningsmateriell samt egne filmer og en nettside. Gjennomføring av tiltaket og metodene som benyttes er grundig beskrevet i egne veiledere til lærere og helsepersonell. Mål og målgruppen er tydelig definert i beskrivelsen.
I programmet refereres det til resiliens- og salutogeneseteorien samt «empowerment» begrepet som bakgrunn for programmet. I det opprinnelige materiale som lå til grunn for den versjonen av programmet som er blitt evaluert, var det bare oppgitt noen referanser som er sentrale for de teoretiske begrepene det refereres til. Virkningsmekanismene som antas å føre til de ønskede effektene for tiltaket var relativt svakt beskrevet. Med den nyere beskrivelsen av det teoretiske rammeverket er den teoretiske forankringen blitt styrket.
Det er gjennomført en studie for å evaluere effekten av tiltaket i Norge, som er publisert gjennom en doktorgradsavhandling bestående av tre artikler.
Studien har et kvasieksperimentelt klyngedesign med test og kontrollgruppe der data blir innhentet før intervensjonen, direkte etter og 6, 12 og 24 måneder etter. Resultat fra 24 måneder er ikke publisert. Dette er et vanlig og akseptabelt forskningsdesign med relativt store grupper, men beregningen av statistisk styrke er ikke rapportert. I tillegg reduserer et Solomon-fire-gruppe design antallet studiedeltakere for de mest interessante effektmålingene mellom t0 og t1 til halvparten og det er uklart hvorvidt man har statistisk styrke til å vektlegge funnene. Begrunnelsen for å velge et slikt design var å kontrollere for mulige sensitiviseringseffekter gjennom pretest. En alternativ måte å teste dette på kunne være å gjennomføre to pretester, hvor den ene kunne vært benyttet til å kontrollere sensitiviseringseffekter vedrørende kunnskap om psykisk helse, mens den andre kunne inkludere for eksempel symptommål for hele utvalget. På den måten ville man unngått å halvere gruppestørrelsen ved pretest (baseline), noe som svekker det empiriske grunnlaget for målinger av effekt mellom pretest og senere måletidspunkter. Frafallet er ikke systematisk analysert.
Det er gjort målinger på relevante utfallsmål og er dels brukt standardiserte- og dels egenutviklede måleinstrumenter med noen psykometriske undersøkelser som ble gjennomført av arbeidsgruppen. Det er imidlertid usikkert om alle indeksene er endringssensitive nok og om de faktisk måler det fenomenet de skal måle, for eksempel elevenes generelle kunnskap om psykisk helse.
Basert på de analysene som er presentert i doktorgradsavhandlingen, som skal undersøke om den hierarkiske strukturen i dataene har betydning for resultatene fra analysene, er det vanskelig å konkludere med om manglende flernivåanalyser har hatt noen betydning. Det er stor sannsynlighet for at elever i samme klasse er mer lik hverandre på utfallsvariablene enn elever som går i ulike klasser og skoler. Dette vil i så fall øke sjansen for type I feil ved at p-verdien blir for lav og en i står fare for å få for mange statistisk signifikante funn.
Det er ikke eksplisitt skilt mellom primære og sekundære utfallsmål ved å definere problemstillinger og utfallsmål på forhånd. Dette kreves i dag fra etablerte studieregister som for eksempel clinicaltrials.gov. For et kort psykoedukativt undervisningsprogram som VIP Snakk om det, er det imidlertid naturlig at det er kunnskap om psykiske lidelser og hjelpeapparatet som er primære mål. Effektene som måles i studien ved hjelp av 7 læringsindekser, er gjennomgående små til moderate. Det er en ulempe at effektene ikke rapporteres for alle variablene til alle måletidspunktene. Når det gjelder mål på psykisk helse så er det en stor svakhet at t0 ikke er med i analysene, gitt at hovedmålet med tiltaket er å gjøre elevene bedre rustet til å ta vare på sin psykiske helse. Det er dermed ikke målt hvorvidt elevenes psykiske helse blir bedre som følge av tiltaket. Psykisk helse analyseres kun på post-mål og det er vanskelig å skjønne rasjonale for de ulike måletidspunktene når effekter rapporteres. Dette gir et noe fragmentarisk bilde av mulige effekter av programmet. Det er overraskende at det ikke var mulig å styrke tilliten til behandlingsmetoder med en slik intervensjon, men det er mulig at dette resultatet skyldes metodiske utfordringer med denne indeksen. Det kan også handle om at tilliten til behandlingsapparatet var høy allerede før VIP-programmet ble gjennomført.
Effektene for generell kunnskap om psykiske helse fortsatte å øke ett år etter intervensjonen. Dette er positivt og betegnes som «sleeper effekt». Det kan tyde på at intervensjonen har økt interessen for tematikken hos ungdommene som fikk intervensjonen, sammenlignet med kontrollgruppen. I tiden etter intervensjonen kan det ha gitt ungdommene motivasjon til å benytte seg av det grundige informasjonsmaterialet, men det kan også tyde på en mulig læringseffekt ved å repetere de samme spørsmålene i kunnskapstesten. Spørreundersøkelsene i studien kan derfor ha en lærings- og intervensjonseffekt i seg selv. Dette støttes også i undersøkelsen av pretesten ved t0, som viser seg å ha en selvstendig effekt på kunnskap om psykisk helse (Andersen & Nord, 2010, tabell 6). Det er derfor vanskelig å si med sikkerhet hvilken effekt som skyldes VIP intervensjonen alene.
Ettersom det er var ulik andel elever som var eksponert for premål i kontrollgruppen og intervensjonsgruppen, kan dette også ha hatt en innvirkning på de oppgitte effektstørrelsene knyttet til disse analysene.
På et overordnet nivå arbeides det bredt med implementering av VIP Snakk om det. VIP Psykisk helse i skolen legger godt til rette for skoler som ønsker å implementere tiltaket. Det gis mulighet for digital evaluering, som elevene selv, lærere og ressurspersoner kan fylle ut. dette kan imidlertid ikke sammenliknes med hvordan man kvalitetssikrer implementering i forskningsstudier, med utfylling av sjekklister, skåring av lyd- eller videoopptak og/eller detaljert veiledning.
Det er ikke tydelig hvilken informasjon veiledningen som gjennomføres i regi av VIP tiltaket faktisk baserer seg på (selvrapport fra gruppeleder eller observasjon av timene) og hvordan veiledningen gjennomføres i VIP. I selve effektstudien er dette ikke undersøkt.
Programmet har en implementeringsstrategi med opplæring av alle som skal utføre tiltaket og forankring av tiltaket i helse- og skolesystemet. Tiltaket har frivillige systemer for vedlikehold av kompetanse gjennom oppfriskningskurs og rapportering fra evalueringer i skolene. Innføring av faste, obligatoriske prosedyrer for kvalitetssikring og oppfølging, ville ha styrket tiltakets implementeringsstrategi.
Det er bare én studie som undersøker effekten av tiltaket og dette begrenser den ytre validiteten av resultatene. Studien kan synes å være av variabel kvalitet, med en del metodiske svakheter og mangelfull beskrivelse av analyser som ligger til grunn for resultatene. Blant annet mangler målinger på elevens psykiske helse på alle måletidspunktene, noe som hadde kunnet belyse om tiltaket hadde positiv effekt på psykisk helse, i tillegg til å øke kunnskapen om psykisk helse. Det vil være ønskelig med validitetsundersøkelser for kunnskaps- og symptom indekser og det kan ikke utelukkes at sensitiverings- og seleksjonseffekter er i favør av intervensjonsgruppen. I tillegg kan ulikt antall elever i kontrollgruppen og intervensjonsgruppen ha hatt en innvirkning på de oppgitte effektstørrelsene.
Etter dagens standard er det også en del andre svakheter, som for eksempel manglende beskrivelse av frafall og manglende styrkeberegning, samt at det er vanskelig å vurdere betydningen av mulige klynge effekter. Samtidig er studien gjennomført under realistiske betingelser med et relativt stort antall ungdommer. Selv om det er uheldig at resultatene ikke er rapportert for alle mål til alle måletidspunktene, viser likevel studien positiv effekt på det tilsynelatende viktigste delmålet, nemlig kunnskap om psykisk helse. Disse resultatene er også stabile etter ett år, noe som er bra for en forholdsvis kort intervensjon av 5 timers varighet. Tiltakets målsetninger bør korrigeres i tråd med gjeldene funn. Alternativt bør det gjennomføres nye studier for å evaluere tiltakets hovedmålsetning om å styrke egen psykisk helse.
VIP klassifiseres på evidensnivå 3 – Tiltak med noe dokumentasjon på effekt på kunnskap om psykisk helse.
Forfatterne erklærer at de ikke har kommersielle interesser i tiltaket vurdert i denne artikkelen. De har heller ikke vært involvert i utvikling, evaluering eller implementering av tiltaket.
Mottatt: 06.04.2020
Godkjent: 03.03.2023
Publisert: 21.06.2023
Redaktør: Charlotte Reedtz