Ungsinn.Tidsskrift for virksomme tiltak for barn og unge
https://doi.org/10.7557/25.6908
Trude Havik
Nasjonalt senter for læringsmiljø og atferdsforskning, Universitetet i Stavanger
https://orcid.org/0000-0001-5916-9642
Marte Rye
Regionalt kunnskapssenter for barn og unge – nord (RKBU Nord) UIT Norges Arktiske Universitet
https://orcid.org/0000-0001-5253-4539
VIP Makkerskap er et helsefremmende og universalforebyggende tiltak som i utgangspunktet var utviklet for å sikre en trygg og forutsigbar skolestart og for å fremme et godt læringsmiljø. I dag er hovedmålet knyttet til et godt psykososialt læringsmiljø og et delmål er en trygg og forutsigbar skolestart. VIP Makkerskap er et av flere tiltak som tilbys gjennom tjenesten VIP Psykisk helse i skolen (https://vippsykiskhelse.no/). Øvrige tiltak inkluderer VIP Snakk om det (tidligere VIP-programmet) og VIP Traumekurs for skoleansatte. «Skoleprogrammet VIP» skiftet navn til VIP Psykisk helse i skolen i 2021. VIP Makkerskap var rettet mot elever ved Vg1 ved oppstart i 2015, men blir ofte benyttet på alle trinn i videregående opplæring og på alle trinn i ungdomsskolen (dokument fra tiltakseier).
VIP Makkerskap er inspirert av det danske skoleprogrammet Netwerk (https://projektnetwerk.dk/), som fokuserer på fellesskap og klassetrivsel. VIP Makkerskap handler om å gi elevene en trygg og forutsigbar overgang fra ungdomsskolen til videregående skole, og fra barneskolen til ungdomsskolen, der kontaktlærer fra første skoledag i et nytt skoleår danner makkerpar og -grupper blant elevene. På den måten ønsker man å unngå at enkeltelever som kjenner hverandre fra før danner ekskluderende klikker. Makkerpar og -grupper skal ha bestemte oppgaver knyttet til hverandre, og makkerpar og -grupper endres etter tre uker for at alle elevene skal samarbeide og bli kjent med ulike medelever.
VIP Makkerskap er et tiltak som tar sikte på å styrke sosiale relasjoner mellom elevene og utvikle gode arbeidsrelasjoner for at de skal lettere finne sin sosiale posisjon og få et kollegialt samarbeid med sine medelever, særlig ved skolestart. Det antas at dette kan være avgjørende for opplevelsen av læringsmiljøet på lengre sikt. Vennskap er ikke et uttalt mål for tiltaket, men det kan være en konsekvens. Tall fra Ungdata 2021 (13–19 år) viser at omtrent 9 av 10 har minst en fortrolig venn (Bakken, 2021). Det er likevel urovekkende at noen elever mangler fortrolige venner; to prosent oppgir at de ikke har noen de vil kalle for venner. Videre er det fire prosent som oppgir å ikke ha noen å være sammen med i friminuttene på skolen, og syv prosent mangler noen å være sammen med på fritiden. Videre viser tall fra Ungdata at ensomhet er mer utbredt blant jenter enn blant gutter, og at ensomhet øker noe fra starten av ungdomstrinnet til de begynner i videregående opplæring, blant både gutter og jenter. Studier viser en sterk sammenheng mellom opplevelse av ensomhet og tanker om å slutte i videregående opplæring (Frostad, Pijl, & Mjaavatn, 2015; Tvedt, Bru, Idsøe, & Niemiec, 2021). En studie viser også en sterkere sammenheng mellom ensomhet og tanker om å slutte på videregående blant innvandrere enn blant norske elever (Fandrem, Tvedt, Virtanen, & Bru, 2021).
Programmet bygger på antakelsen om at dersom flere elever opplever sosial tilhørighet og gode relasjoner med medelever, kan det føre til at færre elever opplever ensomhet, og at færre tenker de vil slutte/droppe ut av videregående opplæring. Det å bekjempe sosialt utenforskap og styrke sosiale aspekter av skolehverdagen synes spesielt viktig for elever med innvandrerbakgrunn.
Tiltaket VIP Makkerskap beskrives på en egen nettside, i materiellet som ungdoms- og videregående skoler får tilsendt etter gjennomgått opplæring, og i evalueringsrapporter utgitt av tiltakseier. Det er utarbeidet et eget dokument til ledelsen ved skolene, en lærerveiledning, samt et dokument til elever og til foresatte. Det er også utarbeidet et eget dokument som beskriver tiltakets faglige forankring (dokument fra tiltakseier). Materiellet til ungdomsskolene er stort sett tilsvarende materiellet til videregående skoler, men med noen mindre tilpasninger. Dokument til skoleledelsen inneholder informasjon om tiltaket, målsettinger, beskrivelse av hva det innebærer å være i et makkerskap, informasjon om evaluering av tiltaket, tips til gjennomføring og opplæring samt en beskrivelse av ledelsens rolle. Lærerveiledningen gir informasjon om tiltaket, målsettinger, beskrivelse av gjennomføring av tiltaket og en samling av oppgaver knyttet til det å bli kjent, skape et godt klassemiljø og en god kultur i makkerparet og makkergruppen. Dokumentet til elevene gir informasjon om hva VIP Makkerskap handler om, hva det vil si å være i et makkerskap, samt to oppgaver («Møt din makker» og «Gruppekontrakt») som handler om å bli kjent og å utforme regler for makkergruppen. Et dokument til foresatte gir også informasjon om tiltaket, målsettinger, hva det innebærer å være i makkerskap og tips til foreldre for å understøtte gjennomføringen av VIP Makkerskap.
På nettsiden til VIP Psykisk helse i skolen finnes informasjon om de ulike tilbudene tjenesten tilbyr, deriblant VIP Makkerskap. Videre finner man informasjon om materiell og filmer (gjelder hovedsakelig VIP Snakk om det), temasider om psykisk helse og nyhetssaker. På nettsidens omtale av VIP Makkerskap gis en kortfattet beskrivelse av tiltaket, tiltakets målsettinger, opplæring, lenke til evalueringsrapporter og forskningsartikkel om VIP Makkerskap samt kontaktinformasjon til tiltakseier.
VIP Makkerskap sin hovedmålsetning er å skape et godt psykososialt læringsmiljø der elevene opplever trygghet og tilhørighet. Ulike delmål for tiltaket er:
I tiltaksbeskrivelsen fremholdes det at hvis man tidlig etablerer en klasse der alle opplever tilhørighet og ingen faller utenfor, vil det kunne bidra til tryggere elever og bedre læringsutbytte. Videre antar man at det kan forebygge mobbing og psykiske helseplager, gjør det lettere å oppdage om noen har det vanskelig og legger grunnlaget for et godt samspill i klassen gjennom hele skoleåret. Tiltaket beskrives som et viktig bidrag i skolens arbeid med folkehelse og livsmestring.
Tiltakseiere opplyser at den primære målgruppen for VIP Makkerskap var lærere og helsesykepleiere, mens Vg1-elever var indirekte målgruppe. Videre opplyses det fra tiltakseier at fra 2019 ble det utviklet et eget materiell til ungdomsskoler, og fra og med 2022 anbefales tiltaket på alle trinn både på ungdomsskolen og på videregående skole.
Tiltaket gjennomføres på klassenivå/skolenivå og organiseres av kontaktlærere i samarbeid med faglærere i hver klasse.
Fra første skoledag har læreren ansvar for å danne makkerpar på to personer (eventuelt 3 om antall elever ikke går opp i partall) og makkergrupper. En makkergruppe består av to makkerpar (4, eventuelt 5 elever). Makkerparene og -gruppene har oppgaver i forhold til hverandre og inndelingen kan også brukes i skolefaglig samarbeid. Bakgrunn for å starte allerede fra første skoledag er at elevene tidlig skal bli kjent med flere av sine medelever og at det ikke skal dannes «klikker» blant ungdom som kjenner hverandre fra før. Parene og gruppene rullerer etter tre uker, slik at man skal få anledning til å samarbeide med forskjellige medelever. Det anbefales å bruke 45 minutter første skoledag til introduksjon i klassen, og deretter 30 minutter til makkerbytter hver 3. uke. Tiltakets varighet er minimum 3 uker x 3, men det opplyses fra tiltakseier at flere skoler velger å fortsette tiltaket utover disse 9 ukene og på flere trinn enn kun 8. trinn eller Vg1. Fra og med 2022 anbefaler tiltakseier at skolene gjennomfører tiltaket gjennom hele skoleåret.
Ved hvert makkerbytte utarbeides en egen «gruppekontrakt» i makkergruppa, som skal skape en felles forståelse og forpliktelse til makkergruppa blant elevene. Denne prosessen skal bidra til trening i ferdigheter som turtaking, gruppeledelse og aktiv lytting. Makkerpar skal i utgangpunktet være tilfeldig utvalgt, ut fra tanken om at akkurat som i arbeidslivet skal man lære seg å jobbe sammen med noen man kanskje ikke kjenner.
I lærerveiledningen fremkommer det at det bør informeres om VIP Makkerskap i et velkomstbrev til nye elever og/eller på informasjonsmøter for kommende 8. klasseforeldre/Vg1-foreldre. I lærerveiledningen er det også utarbeidet forslag til hvordan makkerpar kan presenteres, men med rom for tilpasning til den enkelte klasse. Lærer oppfordres til å lage en kontaktliste til alle elevene i en makkergruppe, slik at de har mulighet til å kontakte hverandre fra første skoledag.
Gjennom ulike øvelser skal makkerparene og -gruppene få trening i samarbeid og kommunikasjon. Innledningsvis omhandler oppgaven «Møt din makker» det at makkerparet skal intervjue hverandre og gi en kort presentasjon av hverandre for resten av klassen. Oppgaven «gruppekontrakt» innebærer at makkergruppen i samarbeid skal utforme regler, som kan være både faglige og sosiale, for et godt arbeid i gruppa. Lærerveiledningen inneholder for øvrig en oppgavesamling med forslag til øvelser for å bli kjent og oppgaver knyttet til klassemiljø og samarbeidslæring. Disse presenteres som forslag til oppgaver man kan gjøre som et ledd innkjøring av nye makkerskap.
Å være i makkerskap innebærer at makkerne skal sitte ved siden av hverandre i klasserommet i alle fag hvor hele klassen er samlet. Makkerne skal hilse på hverandre når de treffes og spørre hverandre for eksempel hvordan helgen har vært. Videre skal makkerne være oppmerksomme på om den andre trives, for eksempel om makkeren har noen å være sammen med i friminuttene eller kommer til sosiale arrangementer med klassen eller på skolen. Hvis makkeren blir bekymret, skal vedkommende henvende seg til kontaktlærer. Makkerne skal kontakte hverandre ved skolefravær. Den som er på skolen, sender en melding til sin makker der det for eksempel kan stå: «Hei! Ser at du er borte i dag. Håper vi sees i morgen.»
I beskrivelse av tiltaket fremkommer det at VIP Makkerskap med fordel kan brukes sammen med VIP Snakk om det, som innebærer at klassen har økter om psykisk helse med både kontaktlærer og ressurspersoner fra helse- og sosialfeltet.
Programeier har utformet et dokument (datert 31.03.22) som beskriver den teoretiske forankringen og faglige føringer for tiltaket. Likevel fremkommer det ikke hvilke teorier eller teoretiske perspektiver programmet bygger på, men det presenteres noen faglige prinsipper for programmet i videregående skole (som sies å kunne overføres til ungdomsskolen). For å understøtte prinsippene vises i noen grad til forskingsresultater gjengitt i politiske rapporter og lærebøker. Prinsippene blir beskrevet under:
VIP Makkerskap er utviklet av VIP Psykisk helse i skolen, som eies av Vestre Viken helseforetak, og finansieres av Helsedirektoratet gjennom tilskuddsordningen «Psykisk helse i skolen». VIP Makkerskap er inspirert av det danske skoleprogrammet Netwerk som fokuserer på felleskap og god klassetrivsel, i samarbeid med organisasjonen Ventilen (https://projektnetwerk.dk/).
Etter et pilotprosjekt på en videregående skole i skoleåret 2014/15 (se nedenfor) startet en nasjonal spredning og implementering på andre videregående skoler fra skoleåret 2015/16, og det ble satt i gang opplæringsseminar regionalt, fylkesvis og på enkeltskoler. I skoleåret 2021/22 ble VIP Makkerskap gjennomført ved 139 videregående skoler i alle landets fylker, og 12 skoler på ungdomstrinnet. Ifølge tiltakseier har flere kommuner og skoler fått opplæring i skoleåret 2021/22.
For skoler som ønsker å ta i bruk VIP Makkerskap presenteres tiltaket via et digitalt møte eller en telefonsamtale, sammen med oversendelse av informasjonsskriv til skolens ledelse. Før første gangs gjennomføring av VIP Makkerskap gis 3 timers regionale eller nasjonale opplærings-webinar. Skolens ledelse har ansvar for å legge til rette for at lærere mottar opplæringen. Nyansatte og andre med behov for opplæring, får tilbud om å delta på et årlig regionalt eller nasjonalt opplæringsseminar (informasjon fra tiltakseier i et skriv til Ungsinn).
Opplæring gjennomføres av VIP Psykisk helse i skolen. Etter gjennomført opplæring mottar skolen materiell om tiltaket (lærerveiledning og dokument til elever og foresatte). Gjennom opplæring og i materiell vektlegges betydningen av involvering fra skolens ledelse og øvrige voksne for å sikre vellykket implementering. Skolen tilbys en digital evaluering for elever og lærere, hvor skolen får en oppsummering av elevenes besvarelser klassevis, trinnvis og totalt for hele skolen. VIP Psykisk helse i skolen er tilgjengelig for veiledning av kontaktpersonen på skolen (som er en person som skolen oppnevner og som blir registrert i VIP Psykisk helse i skolen sin oversikt over skoler/kontaktpersoner) og for lokalt VIP-team/skolens ledelse gjennom hele skoleåret.
Opplæring og materiell tilbys skolene vederlagsfritt grunnet finansiering fra Helsedirektoratet over tilskuddsordningen «Psykisk helse i skolen».
Formålet med denne artikkelen er å vurdere om VIP Makkerskap kan være virksomt benyttet i vanlig praksis i Norge, med hovedfokus på elever i videregående opplæring.
Litteratursøk etter studier om tiltaket ble gjennomført i databasene Embase, Medline og Psykinfo, NORART, Cochrane, Google scolar, NORA, SCOPUS, SweMed, Cambell, NREPP, NICE, Blueprint, CEBC, Vidensportalen, Metodguiden, Cinahl og EIF. Søkedato: 06.07.2021. I tillegg ble tiltakseier kontaktet og bedt om å sende inn dokumentasjon som ikke ble fanget opp av søket, som for eksempel manualer, veiledere, upublisert forskningsdokumentasjon, implementeringsstrategier og kvalitetssikringsrutiner. To forskere gjennomgikk forskingsdokumentasjonen uavhengig av hverandre og identifiserte den aktuelle litteraturen for nordiske effektstudier, internasjonale kunnskapsoppsummeringer, samt andre norske evalueringer i henhold til kriteriene for klassifisering av tiltak i Ungsinn (Martinussen mfl., 2019).
Litteratursøket resulterte i 25 treff hvorav åtte treff ble vurdert for inklusjon. De resterende 17 treff ble ekskludert da de ikke omhandlet VIP Makkerskap (12) eller var duplikater (5). Av de resterende åtte treff som ble vurdert i fulltekst ble tre ekskludert da de ikke var evalueringsstudier av VIP Makkerskap (Gjerustad, Smedsrud, & Federici, 2019; Rimehaug, Singstad, Ekornes, Westbye, & Andersen, 2021,Morin, 2020), mens fem ble inkludert. Av de fem inkluderte artiklene var to skrevet på bakgrunn av en norsk effektstudie (Morin, 2021a; 2022), tre andre norske evalueringer (Skoleprogrammet VIP & Rosenvilde videregående skole, 2015; Skoleprogrammet VIP, 2016, Skoleprogrammet VIP, 2019), men ingen internasjonale kunnskapsoppsummeringer.
Som en del av et doktorgradsprosjekt, er det gjort en effektstudie der resultatene er presentert i to artikler (Morin, 2021a; 2022). Kvasieksperimentelt design er benyttet for å evaluere effekten av VIP Makkerskap på ulike utfallsmål. Tiltaksgruppen besto av 1101 elever fra 10 videregående skoler, mens kontrollgruppen besto av 734 elever fra 7 videregående skoler (elever som deltok på alle tre målingene). Foreldre og elever fikk informasjon om undersøkelsen og om muligheten for å trekke seg og at de samtykket ved å delta i undersøkelsen. Foreldrene samtykket for elever under 16 år. Det ble gjennomført repeterte målinger med spørreundersøkelser én uke etter implementering/oppstart (T1), etter 10 uker (T2) og 6 måneder etter implementering/oppstart (T3).
I den første artikkelen (Morin, 2021a) ble effekten på sosialt klassemiljø presentert, mens i den andre (Morin, 2022) ble effekten på lykke, ensomhet, og depresjon-/angstsymptomer moderert med nivå av sosial angst ved baseline (T1), presentert.
De tre andre evalueringene er alle utgitt av daværende Skoleprogrammet VIP (nå VIP Psykisk helse i skolen), og beskriver første pilotering på henholdsvis en videregående skole (Skoleprogrammet VIP & Rosenvilde videregående skole, 2015) og en ungdomsskole (Skoleprogrammet VIP, 2019), samt en evaluering av VIP Makkerskap etter gjennomføring blant 18 videregående skoler i 2015/2016 (Skoleprogrammet VIP, 2016).
Figur 1
Flytdiagram for gjennomgang av litteratur
VIP Makkerskap er gjennomgående godt beskrevet på nettsiden til VIP Psykisk helse i skolen og i dokumentene til skolens ledelse, elever, foresatte og i en egen lærerveiledning. En vurdering av beskrivelsen kan ses i Tabell 1. Målgruppen for tiltaket var i utgangspunktet elever ved oppstart av første trinn på videregående opplæring, men tiltaket tilbys også for oppstarten på ungdomsskolen og ble fra og med 2022 anbefalt å bli benyttet på alle trinn både på ungdomsskolen og på videregående skole. Både hovedmål og delmål er beskrevet. Hovedmålet er å skape et godt psykososialt læringsmiljø hvor elever opplever trygghet og tilhørighet, mens delmålene er å fremme elevers psykiske helse, trivsel og læring, å styrke elevers sosiale og relasjonelle kompetanse, skape en trygg og forutsigbar skolestart, etablere et godt klassemiljø tidlig, at elevene skal bli kjent med de andre i klassen og å skape gode arbeidsrelasjoner som fremmer livsmestring i skolehverdagen.
Tiltaket starter første skoledag og skal vare i minst 9 uker, der skifte av makkerpar og makkergruppe skjer hver tredje uke. Fra 2022 anbefaler tiltakseier at tiltaket blir brukt hele skoleåret. I lærerveiledningen, som kan ses på som tiltakets manual for kontaktlærere og faglærere som er utøvere av tiltaket, beskrives hensikten med programmet, målsetninger, gjennomføring og en egen oppgavesamling. Lærerveiledningen gir råd og føringer for oppstart av nye makkerpar og makkergrupper, inkluderende bli-kjent oppgaver og inngåelse av «gruppekontrakt». Etablering og gjennomføring av makkerpar og makkergrupper kan ses på som tiltakets kjernekomponenter. Ut over dette gir ikke lærerveiledningen klare føringer for hvordan den praktiske gjennomføringen av VIP Makkerskap skal foregå, for eksempel hvor ofte og hvor mange av oppgavene i oppgavesamling som skal eller bør benyttes. Oppgavesamlingen kan derfor sees på mer som en idébank. De tre inkluderte evalueringsrapportene (Skoleprogrammet VIP & Rosenvilde videregående skole, 2015; Skoleprogrammet VIP, 2016; Skoleprogrammet VIP, 2019) bidrar til å styrke beskrivelsen av tiltaket.
Tabell 1| Dimensjoner i beskrivelsen | Ikke beskrevet | Noe beskrevet | Godt beskrevet |
|---|---|---|---|
| Problembeskrivelse | X | ||
| Målgruppe | X | ||
| Hovedmål | X | ||
| Sekundærmål | X | ||
| Utforming av tiltaket | X | ||
| Metoder som benyttes | X | ||
| Kjerneelementer/fleksibilitet | X | ||
| Utøvere av tiltaket | X | ||
| Manual/veileder for mottakere av tiltaket | X | ||
| Materiell for mottakere av tiltaket | X | ||
| Undersøkelser som styrker beskrivelsen | X |
En norsk effektstudie ble identifisert (tabell 2), presentert i to artikler der effekten av VIP Makkerskap gjennom kvasi-eksperimentelt design med repeterte målinger ble undersøkt (Morin, 2021a; 2022).
Tabell 2| Studie/artikkel | Forskningsdesign | Deltakere | Utvalget | Måletidspunkter |
|---|---|---|---|---|
| Morin, A. H. (2021a). The VIP Partnership Programme in Norwegian Schools: An Assessment of Intervention Effects. Scandinavian Journal of Educational Research | Kvasi-eksperiment design, med kontrollgruppe | 1101 elever (og 734 i kontroll-gruppe) | Elever fra 17 skoler, 10 i intervensjonsgruppen og 7 i kontrollgruppen. Kontrollskolene matchet tiltaksskolene når det gjelder størrelse og geografisk beliggenhet | Baseline ble målt etter 1 uke (T1), den andre undersøkelsen ble gjennomført 10 uker etter første gangs eksponering og den tredje etter 6 måneder (T3) |
| Morin, A. H. (2022). Promoting positive social classroom environments to enhance students’ mental health? Effectiveness of a school-based programme in Norway. International Journal of Educational Research. | Kvasi-eksperiment design, med kontrollgruppe | 1101 elever (og 734 i kontroll-gruppe) | Elever fra 17 skoler, 10 i intervensjonsgruppen og 7 i kontrollgruppen. Kontroll-skolene matchet tiltaksskolene når det gjelder størrelse og geografisk beliggenhet | Baseline ble målt etter 1 uke (T1), den andre undersøkelsen ble gjennomført 10 uker etter første gangs eksponering og den tredje etter 6 måneder (T3) |
| Studie | 1. Statistiske analyser | 2. Måling | 3. Indre validitet | 4. Tro mot tiltaket | 5. Ytre validitet | Gj. snitt |
|---|---|---|---|---|---|---|
| Morin, A. H. (2021a) | 2 | 2 | 1,5 | 1 | 1,5 | 1,6 |
| Morin, A. H. (2022) | 2,5 | 2,5 | 1,5 | 1,5 | 1,5 | 1,9 |
Det ble i Morin (2021a) gjennomført enveis kovariansanalyse (one-way ANCOVA) for å si noe om intervensjonens effekt på sosialt klassemiljø. Baselineskåren (T1) ble brukt som kovariat i tillegg til mål på sosial angst, ensomhet, kjønn, mors utdanningsnivå og gjennomsnittskarakter (se målinger og måleinstrumenter under). Styrken på effekten på sosialt klassemiljø ble kategorisert i henhold til Cohens`d (Cohen & Steinberg, 1992) for funn som var signifikante mellom tiltaks- og kontrollskolene på henholdsvis T2 og T3.
I Morin (2022) ble multivariate analyser (MANCOVA) valgt, som tar hensyn til nivå av pre-test skårer for avhengige variabler. Det ble foretatt to separate to-veis MANCOVA, etter 10 uker (T2) og etter 6 måneder (T3), for å undersøke effekter av tiltaket på utfall som lykke, depresjon-/angstsymptomer og ensomhet, justert for kjønn, gjennomsnittlig skolekarakterer, og mors utdannelse samt baseline skårer for nivå av sosial angst (ingen, lav eller høy sosial angst). Det ble videre undersøkt hvorvidt nivå av sosial angst modererte effekter av tiltaket.
Forskningsdesign for studien (publisert i to artikler) anses som adekvat for evaluering av denne type tiltak, men mangelen på randomisering er likevel en svakhet. Det gir grunnlag for å stille spørsmålstegn ved resultatenes gyldighet. Analyser og resultater er godt beskrevet, men det er en svakhet ved analysene at det ikke er tatt hensyn til den hierarkiske strukturen i data (elever «nested» innom skoler, klasser), som kan føre til for lave p-verdier (for lav standardfeil) og for høye effektstørrelser (ettersom standardavviket blir for lite). Dette kan være rimelig alvorlig gitt lave effektstørrelser. Det er heller ikke rapportert en power-analyse, men utvalget er relativt stort, så den statistiske styrken er trolig tilstrekkelig for beregning av effekt på elevnivå – om enn ikke på skolenivå. Frafallsanalyser er ikke beskrevet i første artikkel, og er noe uklart beskrevet i artikkel to (Morin, 2022). Det kan se ut som at listwise deletion ble benyttet for å håndtere missing, der de fjernet respndenter uten komplette data på alle de tre tidspunktene. Svakheter ved denne strategien inkluderer en fare for skjevhet dersom missing ikke er «missing completely at random» (MCAR) og mindre statistisk styrke. De fant også at elevene som ikke deltok ved T2/T3 hadde dårligere karakterer og helse ved baseline enn elevene som deltok ved alle måletidspunktene. Siden dette går imot MCAR-antakelsen, hadde det styrket studien å håndtere missing ved bruk av Full Information Maximum Likelihood (FIML) eller Multippel imputasjon, da disse har en mindre restriktiv «missing at random» (MAR) antakelse (Schafer & Graham, 2002). Blant de elevene som ikke deltok ved T2/T3 ble det ikke identifisert signifikante forskjeller mellom tiltaks- og kontrollskolene når det gjaldt kjønn, mors utdanningsnivå eller avhengige variabler ved baseline (T1).
Sosial angst ble målt med Mini-Social Phobia Inventory (mini-SPIN) som inkluderer tre spørsmål fra Social Phobia Inventory (Connor mfl., 2000). Det vises til internasjonale studier som belyser reliabilitet og validitet (Connor, Kobak, Churchill, Katzelnick, & Davidson, 2001; Garcia-Lopez & Moore, 2015; Wiltink mfl., 2017), men instrumentet har ikke vært brukt i Norge tidligere. Det foreligger ingen informasjon om den norske oversettelsesprosessen, kvaliteten på oversettelsesarbeid eller norsk tilpasning av det opprinnelige spørreskjemaet. Denne skalaen ble brukt i begge artiklene (Morin, 2021a; 2022). I Morin (2022) ble utvalget delt i tre grupper ut fra gjennomsnittsskåre: 1= ingen sosial angst), > 1 – < 3 (lav sosial angst), eller ≥ 3 (høy sosial angst).
Ensomhet ble målt gjennom en tilpasning av den norske versjonen av Loneliness and Social Dissatisfaction Questionnaire med fire spørsmål (Asher & Wheeler, 1985; Valås, 1999). Tilpasningen var at elevene kunne svare i et retroperspektiv (opplevelser av ensomhet i 10.klasse, som de svarte på ved skolestart i videregående skole, T1). Det foreligger ingen informasjon om den norske oversettelsesprosessen, kvalitet på oversettelsesarbeidet eller norske tilpasninger av det opprinnelige spørreskjema. Denne skalaen er brukt i begge artiklene (Morin, 2021a; 2022).
I Morin (2022) ble lykke målt med fire spørsmål. Denne skalaen er utviklet av Skaalvik og Federici (2015) men den er ikke tidligere publisert. Elevene ble bedt om å tenke tilbake på det siste to ukene når de svarte i hvilken grad de var enige i fire utsagn, for eksempel «Følt at livet er flott» og «Følt seg lykkelig».
Depresjon-/angstsymptomer inneholdt ni tilpassede spørsmål hentet fra the Hopkins Symptom Checklist (Derogatis mfl., 1974). Det vises til internasjonale studier som belyser psykometriske egenskaper for ulike versjoner av instrumentet. Elevene ble bedt om å svare for de to siste ukene på ni påstander for depresjon/angst og i hvor stor grad det gjaldt dem. Spørsmål var for eksempel «Bekymret seg mye» og «Gråter lett».
Det rapporteres god til utmerket indre konsistens reliabilitet for alle disse skalaene, med Chronbach`s alpha (α) på T1 for sosialt klassemiljø på α = 0,80, sosial angst på α = 0,80, ensomhet på α = 0,93, lykke α = 0,87, og depresjon/angst α = 0,92 ved T1. I begge artiklene ble karakterer målt som gjennomsnittsskåre av selvrapporterte karakterer i fagene norsk, matematikk og engelsk fra 10. klasse. Sosial bakgrunn ble målt som mors utdanningsnivå oppsummert som en 2-delt skala: utdannelse opp til videregående skole eller høyere utdanning på høyskole eller universitetet.
Morin (2021a) viser til at det er gjort supplerende undersøkelser for å undersøke grunnlag for observert effekt. Her vises det til et lærerskjema og måling av holdninger til VIP Makkerskap blant lærere. Innholdet og reliabiliteten for disse måleinstrumentene er imidlertid ikke beskrevet i artikkelen, selv om det løftes frem som en viktig konklusjon for studien.
Samlet sett anses de fleste målene som tilfredsstillende å benytte for dette formålet, og det rapporteres indre konsistens reliabilitet i det aktuelle utvalg. Samtidig mangles det for noen av instrumentene kjennskap til norsk tilpasning og det stilles noe usikkerhet til den egenutviklede skala for sosialt klassemiljø (beskrevet over) i forhold til hvorvidt den dekker begrepet sosialt klassemiljø.
Skolene i kontrollgruppen ble rekruttert fra de samme to fylkene, og ble beskrevet som relativt like tiltaksskolene med hensyn til størrelse og geografisk beliggenhet. Det er ikke kjent om kontrollskolene gjennomførte tilsvarende program i løpet av studieperioden, selv om de ikke brukte VIP Makkerskap. Det er heller ikke kjent hvorvidt tiltaksgruppen brukte andre programmer enn VIP Makkerskap eller om de i tillegg brukte VIP Snakk om det. Dersom skolene implementerte andre program, kan dette ha innvirkning på både intern og ekstern validitet.
I første artikkel ble det rapportert at det ikke var signifikante forskjeller mellom skolene i tiltaks- og kontrollgruppen for sosialt klassemiljø ved T1. Det presenteres videre at tiltaks- og kontrollgruppene var relativt like på øvrige demografiske variabler som er målt, men det er ingen informasjon om statistisk signifikans. Dette kan indikere at de to skolegruppene i utgangspunktet var rimelig sammenlignbare, selv om forskjeller på andre variabler ikke kan utelukkes.
Det er oppgitt hvor mange elever som fikk tilbud om å delta ved T1 og hvor mange som var med i alle tre målingene. Det er mottatt svar fra 55 % av elevene på alle tre målinger for tiltaksskolene og 63 % for kontrollskolene, men man vet ikke hvor mange som opprinnelig samtykket til deltagelse. Såpass lave svarprosenter påvirker sannsynligvis den interne validiteten negativt. Frafallsanalyser er ikke rapportert i første artikkel, men er kort rapportert i den andre artikkelen (se statistiske analyser). Elevene ved tiltaksskolene som falt fra ved T2/T3 hadde dårligere helse og dårligere gjennomsnittskarakterer enn de som fullførte undersøkelsene. Det betyr at missing ikke er helt tilfeldig (MCAR), som igjen kan føre til skjevhet i resultatene og usikre funn.
Det er positivt at elevene i tiltaksgruppen og kontrollgruppen er rekruttert fra ulike skoler, da det reduserer smitteeffekter (mindre sjanse for at kontrollgruppen kjenner til eller bruker deler av innholdet i tiltaket). Smitte mellom betingelsene kan likevel ikke utelukkes gitt tilknytning til samme fylke. Det er også positivt at det er elevene som svarer, da det er de som har erfart om tiltaket har påvirket sosialt klassemiljø, ensomhet, depresjon-/angstsymptomer og lykke.
En svakhet ved studiens design er at noen av skolene hadde innført/implementert VIP Makkerskap før studiet startet og før elevene i studien ble eksponert for tiltaket (ofte flere år tidligere). Dette gjør at det ikke er et rent kvasieksperimentelt effektstudie med pre-post måling og kontrollgruppe. Dette kan enten føre til for små effektestimater (om implementeringskvaliteten ikke er tilstrekkelig høy) eller til for høye estimater (ettersom skoler som ikke lykkes kan ha større sjanse for å forlate programmet før baseline), sammenliknet med om alle intervensjonsskolene hadde startet etter baseline.
I den første artikkelen er det noe vanskelig å forstå hvorfor det kontrolleres for ensomhet og sosial angst når utfallsmålet inkluderer spørsmål som for eksempel å ha noen å være sammen med i pauser og å ha noen å sitte sammen med i klasserommet. Det er med andre ord noe uheldig overlapp mellom avhengige og uavhengige variabler.
Morin (2021a) fant signifikant bedre skårer for elever som gikk på skoler som hadde gjennomført VIP Makkerskap på utfallsvariabelen sosialt klassemiljø, sammenlignet med elever i kontrollgruppen som ikke hadde implementert programmet, både på T2 og T3. Effektstørrelsene (ES) var imidlertid små, med henholdsvis Cohen`s d = 0,10 ved T2 (rett etter tiltaket var slutt) og d = 0,09 for T3 (seks måneder etter tiltaket).
På grunn av små effektstørrelser oppgir Morin (2021a) at de gikk videre med å undersøke om noen av tiltaksskolene skilte seg ut med tanke på mulige effekter. Endringsskårer for sosialt klassemiljø fra T1–T2 og fra T2–T3 ble kalkulert for alle skoler. Morin (2021a) oppgir at det eneste området som skilte tiltaksskoler med signifikant bedring fra tiltaksskoler uten signifikant bedring, var antall år lærerne hadde brukt VIP Makkerskap. Dette understøtter at designet ikke var ideelt og at resultatene er beheftet med usikkerhet.
I den andre artikkelen ble det funnet signifikant bedre skårer for elever på tiltaksskoler for lykke (0,12) og depresjon-/angstsymptomer for elever med ingen (0,30) eller lav sosial angst (0,14) ved T2. Ingen effekt ble funnet for ensomhet. Det var heller ingen statistisk signifikante effekter på noen av utfallsmålene etter 6 måneder (T3).
Tabell 4| Effektstørrelse Cohens d (T2) | Effektstørrelse Cohens d (T3) | |
|---|---|---|
| Sosialt klassemiljø (Morin, 2021a) | 0,10** | 0,09* |
| Lykke (Morin, 2022) | 0,12** | |
| Depresjon-/angstsymptomer (ingen symptomer på sosial angst ved baseline) (Morin, 2022) | 0,30** | |
| Depresjon-/angstsymptomer (lave symptomer på sosial angst ved baseline) (Morin, 2022) | 0,14* |
Det finnes ingen internasjonale kunnskapsoppsummeringer.
Det er utarbeidet tre evalueringsrapporter med elever og lærere som målgruppe. To av disse rapportene («Man har alltid noen å sitte med slik at ingen føler seg utenfor: Evalueringsrapport pilot VIP-makkerskap» «Alle blir kjent med alle: Evalueringsrapport VIP-makkerskap fra pilotprosjekt med Hole ungdomsskole») beskriver et pilotprosjekt på VIP Makkerskap på henholdsvis en videregående skole og en ungdomsskole (Skoleprogrammet VIP & Rosenvilde videregående skole, 2015; Skoleprogrammet VIP, 2019). Den tredje rapporten («En plass for alle: Evalueringsrapport VIP-makkerskap») presenterer en evaluering av VIP Makkerskap etter gjennomføring ved 18 videregående skoler for skoleåret 2015/2016 (Skoleprogrammet VIP, 2016). Disse evalueringene er ikke å regne som effektstudier, men oppsummerer erfaringer fra observasjoner, dialog og besvarelser fra elever og lærere på spørreundersøkelser med både avkrysningsspørsmål og åpne spørsmål (mulighet for å gi skriftlige tilbakemeldinger). Ingen av evalueringene hadde pre-målinger eller kontrollgrupper.
VIP Psykisk helse i skolen gir noe implementeringsstøtte i form av informasjonsmøter med skolen før oppstart av tiltaket og gjennom årlige nasjonale og regionale opplæring-/oppfriskningsseminar. Det utnevnes en kontaktperson på den enkelte skole som mottar materiell årlig og som tilbys veiledning ved behov. Tiltaket skal gjennomføres av kontaktlærere/faglærere i klasserommet, og disse skal ha deltatt på et 3 timers opplæringsseminar. Opplæringsseminar gjennomføres av VIP Psykisk helse i skolen, eventuelt av ledelsen på skolen i samarbeid med skolens kontaktperson eller elevtjenesten dersom disse har deltatt på opplæringen. Opplæringen inkluderer informasjon om VIP Makkerskap, målsetninger, faglig forankring og praktisk gjennomføring av tiltaket. Det foreligger ikke prosedyrer for sertifisering av utøverne av tiltaket. Det tilbys ikke systematisk veiledning til den enkelte kontaktlærer eller faglærer som gjennomfører tiltaket, og det finnes ikke systematiske måter å måle/kvalitetssikre at den enkelte kontaktlærer gjennomfører tiltaket slik det er tiltenkt. Ifølge tiltakseier har ledelse/koordinatorer en sentral rolle i veiledningen av enkeltlærere. Årlig digital evaluering etter gjennomført tiltak kan potensielt bidra til utviklingsarbeid på den enkelte skole. Evalueringen består av spørreskjema til lærere og elever, hvor spørsmål er utviklet gjennom erfaringer fra pilotering av VIP Makkerskap og elevevalueringer fra VIP-programmet og Netwerk. Skolen mottar i etterkant oppsummerte resultater på trinn- og klassenivå og totalt for hele skolen.
Tabell 5| Kategori | Ja | Nei | Ikke relevant |
|---|---|---|---|
| Implementeringsstøtte | X | ||
| Kvalifikasjonskrav | X | ||
| Opplæring | X | ||
| Sertifiseringsordninger | X | ||
| Monitorering av fidelity/etterlevelse | X | ||
| Veiledning | X | ||
| Identifisering av målgrupper | X | ||
| Kartlegging og vedlikeholdsverktøy | X | ||
| Strategier for tilpasning | X | ||
| Samlet skåre | ∑3/8 | ||
Hovedmålet med denne artikkelen er å undersøke om VIP Makkerskap er et virksomt tiltak benyttet i ordinær praksis i Norge, basert på Ungsinn sine kriterier for klassifisering. Resultatene diskuteres på bakgrunn av disse i påfølgende avsnitt.
VIP Makkerskap er gjennomgående godt beskrevet gjennom egen nettside, materiell til skolens ledelse, elever og foresatte, samt i en lærerveiledning som kan regnes som tiltakets manual. Det er utviklet eget materiell for henholdsvis videregående- og ungdomsskolen. Lærerveiledningene gir føringer for hvordan presentere og starte opp med nye makkere og makkergrupper, som så rulleres hver tredje uke i minimum ni uker. Ut over dette gir lærerveiledningen rom for fleksibilitet, for eksempel gjennom en oppgavesamling som kan benyttes, en fleksibilitet som potensielt kan innebære at tiltaket gjennomføres nokså ulikt i forskjellige skoler og klasser.
Den teoretiske og faglige forankringen for VIP Makkerskap er beskrevet i eget dokument hvor sentrale prinsipper beskrives under brede overskrifter om et godt psykososialt miljø, god klasseledelse, sosial og relasjonell kompetanse, tilhørighet og felleskap, mangfold, inkludering og sosial læring, sosial støtte, forebygging av mobbing, skoleoverganger, psykisk helse, trivsel og læring. For hvert punkt vises det til kilder fra artikler, bøker, veiledere, rapporter og lignende, og ofte vises det til sekundærlitteratur. Selv om VIP Makkerskap nok berører alle disse temaene, er det utfordrende å forstå de sentrale teoretiske virkningsmekanismene som man antar ligger til grunn for aktiviteter og målsetninger i programmet. Hvilken teoretisk referanseramme (for eksempel sosial læringsteori) programmet er fundert på, er ikke beskrevet. Det teoretiske fundamentet (inkl. endringsmekanismer) bør beskrives, de faglige prinsippene bør spisses (dvs. tilpasses bedre til programmet) og det bør vises direkte til relevant forskningslitteratur.
Det foreligger en norsk effektstudie av VIP Makkerskap presentert i to artikler (Morin, 2021a; 2022). Gjennom kvasieksperimentelt design ble effekten av VIP Makkerskap undersøkt blant elever i videregående opplæring som mottok tiltaket og blant elever på skoler som ikke mottok tiltaket i to fylker. Studien har en noe utilfredsstillende metodisk kvalitet (beskrevet over), som kan føre til skjevhet i funn på grunn av blant annet lav svarprosent, manglende/svake frafallsanalyser og en håndtering av missing data som ikke er optimal. Det er også ulik tid siden tiltaket ble implementert for skolene og utfallsmålet overlapper i noen grad med noen kovariater. Utvalget er relativt stort, og studien er gjennomført i skolehverdagen og på den målgruppen tiltaket er utviklet for. Skolene i kontrollgruppen har ikke gjennomført VIP Makkerskap, men de kan være gjennomført andre tiltak for å fremme trivsel eller sosialt klassemiljø, noe som ikke er beskrevet. Sosialt klassemiljø ble målt gjennom et egenutviklet skjema på fire spørsmål. Spørsmålene går på opplevd trygghet og å ha noen å være sammen med på skolen, som anses i tråd med VIP Makkerskap sin hovedmålsetning om å skape et godt psykososialt miljø hvor elevene opplever trygghet og tilhørighet. En hovedinnvending er at sosialt klassemiljø inkluderte fire ledd, men som ikke er dekkende for begrepet og inkluderer for eksempel ikke lærer-elev relasjoner i klassen.
I den andre artikkelen (Morin, 2022), ble det gjort undersøkelser for flere utfallmål, som lykke, depresjon-/angstsymptomer og ensomhet, som igjen ble undersøkt for elever med ingen, lav eller høy sosial angst.
Elevene i studien svarer på spørsmål på tre forskjellige tidspunkt, en uke etter at elevene først ble eksponert for tiltaket, rett etter at tiltaket var ferdig (etter 10 uker) og ved seks måneders oppfølging. Det er positivt at det gjennomføres oppfølgingsmålinger for å sjekke ut om potensielle effekter vedvarer. Fra tiltakeier opplyses det at noen skoler velger å fortsette tiltaket ut over de 9 ukene det minimum skal vare. Det fremkommer ikke av de to artiklene om det gjelder for skolene i den aktuelle studien. Elever ved skolene som hadde brukt VIP Makkerskap skåret signifikant bedre på sosialt klassemiljø enn elever ved skoler som ikke hadde gjennomført tiltaket, men effektene var små og den praktiske betydningen kan antas å være begrenset (Morin, 2021a). Vesentlige svakheter ved designet og de empiriske analysene gjør imidlertid at funnene må anses som usikre. Det ble funnet signifikant bedre skårer for tiltaksskolene for lykke (Morin, 2022). I tillegg ble det funnet signifikant mindre depresjon-/angstsymptomer ved T2, men bare for elever med ingen eller lav sosial angst. Det kan bety at tiltaket har dårligere effekt for de som trenger det mest (de med høy sosial angst). Videre hadde elever ved tiltaksskolene som ikke fullførte T2 og T3 dårligere karakterer og dårligere helse ved baseline enn de elevene som deltok på alle måletidspunkt, noe som kan medføre skjevheter i resultatene. Ingen effekt ble funnet for ensomhet hverken ved T2 eller etter 6 måneders oppfølging. Det ble heller ikke funnet statistisk signifikante effekter for noen av de andre utfallsvariablene etter 6 måneder, som kan indikere at tiltaket ikke har blitt en del av skolens daglige virke.
Effektstørrelsene (ES) for universelle skolebaserte tiltak ligger vanligvis mellom 0,10 og 0,22 (for eksempel, Durlak mfl., 2011; Weare & Nind, 2011). Effektstørrelsene (ES) i denne studien varierte fra 0,09 til 0,30, som gjør et en kan si at resultatene er i tråd med det som er vanlig ved skolebasert tiltak. Men det må bemerkes at ES 0,30 gjelder for elever med ingen symptomer på sosial angst ved baseline, og at det var ingen effekter ble funnet blant elever med høy sosial angst ved baseline.
Det er også utgitt tre rapporter som oppsummerer erfaringer fra to pilotstudier gjennomført i enkeltskoler og fra en gruppe videregående skoler (n = 18) som hadde gjennomført VIP Makkerskap. Samlet sett beskriver rapportene at elevene stort sett er fornøyde med VIP Makkerskap og at flertallet gir positive tilbakemeldinger på programmets virkning på forhold tiltaket har som målsetning å påvirke. Selv om rapportene belyser aspekter ved implementering og utvikling av programmet, samt aspekter ved opplevelsen av eller tilfredshet med VIP Makkerskap, har ingen av studiene en forskningsmetodisk kvalitet som gjør at de kan brukes for å si noe om tiltakets effekt.
VIP Makkerskap er inspirert av det danske skoleprogrammet Netwerk som rapporterer om gode erfaringer (Netwerk, u.å.), men det foreligger ingen fagfellevurdert vitenskapelige dokumentasjon på dette.
Som beskrevet, tilbys skolene noe implementeringsstøtte, men det finnes ingen prosedyrer (for eksempel veiledning, sertifisering) eller måleinstrumenter for å sikre tilstrekkelig høy kvalitet på gjennomføringen. Tiltakseier fremhever imidlertid betydningen av god implementering og lederforankring, samtidig som det kommer frem at hvordan og i hvilken grad tiltaket implementeres i klassen, i stor grad er opp til den enkelte kontaktlærer. I studien til Morin (2022) ble lærere bedt om å besvare fidelity-spørsmål 3 måneder etter programmet var avslutta. Blant de lærerne som besvarte, kan svarene indikere at implementeringskvaliteten var tilfredsstillende. Samtidig besvarte ikke alle lærerne disse spørsmålene, og varighet på mottatt opplæring varierte. Dette kan bety noe for kvaliteten av opplæringen, og at den kan variere. Når ansvar for videre opplæring og implementering på en skole gis til skolepersonell som har vært på opplæringsseminar, fremstår dette som en sårbar strategi med tanke på at opplæringen da vil kunne variere fra skole til skole. Dette kan ses i sammenheng med funn fra Morin (2021a) som indikerer at lærerens kunnskap om og erfaring med tiltaket innvirker på programmets effekter. Det gis tilbud om årlige evalueringer av tiltaket på skolen, hvor skolen kan motta oppsummerte resultat, noe som kan virke positivt inn på implementeringskvaliteten.
Basert på Ungsinn sine kriterier, klassifiseres VIP Makkerskap på evidensnivå 3, tiltak med noe dokumentasjon på effekt. Tiltaket er godt beskrevet og har en bred teoretisk/faglig forankring, men som er for vidt formulert og bør spisses mot teoretiske virkningsmekanismer knyttet til tiltakets hovedmålsetninger. Det er gjort en effektstudie med kvasieksperimentelt design med tiltaks- og kontrollgruppe, der funn ble presentert i to artikler. Resultatene kan indikere at tiltaket har en svak effekt på sosialt klassemiljø slik det er målt, både etter 10 uker og 6 måneder. Det er bare funnet korttidseffekter (etter 10 uker ved T2) for lykke og depresjon-/angstsymptomer for elever uten eller med lave sosial angstsymptomer ved baseline (T1), men ikke for elever med høy sosial angst, og heller ingen effekter etter 6 måneder (T3). Det ble ikke funnet effekter for ensomhet verken etter 10 uker eller 6 måneder.
Siden noen av skolene hadde innført VIP Makkerskap før baseline (premålingen, T1, ble gjort en uke etter at elevene ble eksponert for tiltaket), er det noe tvilsomt om dette er en vanlig kvasieksperimentell effektstudie med pre-post måling og kontrollgruppe.
Studien er gjennomført i videregående skole og det finnes ingen effektstudier fra ungdomsskolen. Det trengs derfor mer forskning av god forskningsmetodisk kvalitet som belyser tiltakets effekter både på ungdoms- og videregående skole, og på et bredere spekter av tiltakets målsetninger, for å kunne si noe om effekter. Tiltaket fremstår som enkelt og lite tidkrevende å gjennomføre, uten store inngrep i skolehverdagen. Samtidig kan tiltaket, gjennom opplæring og praktisk bruk i skolen, bli gjennomført nokså ulikt fra skole til skole og mellom klasser, da gjennomføringen i stor grad er avhengig av den enkelte lærer. Dette innebærer en usikkerhet på om VIP Makkerskap leveres i tråd med intensjonene.
Forfatterne erklærer at de ikke har kommersielle interesser i tiltaket vurdert i denne artikkelen. De har heller ikke vært involvert i utvikling, evaluering eller implementering av tiltaket.
Mottatt 22.12.2021
Godkjent 21.12.2022
Publisert 04.04.2023
Redaktør: Kyrre Breivik