Lärarförbundet
Bli medlem

Detta är ett inlägg från Lärarförbundets utredarblogg

Friskolors betyg är mycket högre än vad som motiveras av PISA

Försprånget i PISA är för litet för att motivera betygsförsprånget för fristående skolor.

Försprånget i PISA är för litet för att motivera betygsförsprånget för fristående skolor.

Då och då lyfts en rapport gjord på PISA fram som bevis för att fristående skolor presterar bättre. Av många debattörer används den dock ofta långt bortom vad den egentligen visar: Att skillnaden är ganska liten och knappast förklaras av att fristående skolor har bättre kvalitet.

En rapport som gjordes i höstas dyker då och då upp i debatten om resultatskillnader mellan fristående och kommunala skolor. Det är en analys av PISA-resultaten från 2018 gjord på uppdrag av Svenskt Näringsliv som heter Vad kan vi lära av PISA 2018 – faktorer bakom svenska elevers resultat.

Rapporten används flitigt av både Svenskt Näringsliv och Friskolornas Riksförbund för att visa på att friskolor presterar bättre. Senast var det Friskolornas Ulla Hamilton som hänvisade till den i samband med att hon kommenterade Lärarens reportage om att friskolor sätter A i mycket högre utsträckning än kommunala skolor.

Först får jag väl konstatera att jag inte har någon som helst anledning att tvivla på själva analysen i rapporten, som visar på att om man tar hänsyn till alla, i PISA möjliga, kontrollvariabler så föreligger en skillnad på 9,5 till 11,5 PISA-poäng i de tre ämnesområdena som undersöks. För att göra det enkelt för oss kan vi säga att det är 0,1 standardavvikelse.

Bortom vad det finns fog för

Men att skillnaden föreligger betyder ju inte att det inte går att problematisera hur rapporten används. I många fall, till exempel det redan nämnda i Läraren, är det långt över vad den ger fog för.

Det första man kan konstatera är att 0,1 standardavvikelse är en rätt liten skillnad (0,25-0,4 är en mellanstor och >0,4 är en stor) . Sannolikt är den så liten att den precis är statistiskt säkerställd. Det förstår man om inte annat när man jämför med motsvarande beräkningar som Skolverket gjort på 2012 och 2015 års PISA-undersökningar (Finns i en PM med titeln Resultatskillnader mellan elever i fristående och kommunala skolor enligt PISA 2015 (och PISA 2012)).

För 2012 är ett motsvarande resultat på 12 PISA-poäng inte statistiskt säkerställt. Och för 2015 gäller att skillnader till kommunernas fördel, där även skolans genomsnittliga socioekonomiska index beaktas, om 11 till 13 PISA-poäng inte är statistiskt säkerställda. Att samma skillnad idag är statistiskt säkerställd beror på att andelen elever i friskolor är högre nu än då, men siffrorna visar på att den statistiska säkerheten är med en liten marginal.

Skolverkets motsvarande analys

En annan intressant sak med frågan är ju att Skolverket har gjort exakt samma analys som Svenskt Näringslivs rapport, fast för PISA-omgångarna 2012 och 2015. Om friskolorna vore mycket bättre skulle det så klart visa sig även i de analyserna. Är det någon som sett Ulla Hamilton använda den? Nej, så klart inte.

Det beror på att den inte alls är lika positiva för fristående skolor. För PISA-2015 är skillnaden mellan kommunala och fristående skolor ett par PISA-poäng och garanterat inte statistiskt säkerställd. För PISA-2012 är skillnaden till friskolornas favör större, men den är bara statistiskt säkerställd i läsning, där den är hela 17 PISA-poäng.

Vad historiken visar är att det tycks svaja en hel del vad gäller försprång. Och frågan är varför fristående skolor skulle vara mycket bättre ett år i ett ämne, för att sedan vara rätt jämna med kommunerna tre år senare och slutligen ha ett knappt övertag ytterligare tre år senare. Det visar att det finns en stor osäkerhet när det gäller resultatet och att det finns en viss slumpfaktor med.

Är det ett kausalt samband?

Sedan har vi då frågan om det är ett säkert samband så tillsvida att det betyder att friskolor faktiskt är bättre på att förmedla kunskaper, vilket ju är Ulla Hamiltons argument. Den första vi kan fråga är rapportförfattaren som skriver följande:

”Genom att justera för ett stort antal kontrollvariabler ökar möjligheterna att man jämför lika med lika. Det går dock inte att utesluta att utelämnade variabler påverkar både sannolikheten att elever går på fristående skolor och deras PISA-resultat. I sådana fall skulle eventuella skillnader kunna bero på dessa variabler, istället för på faktiska kvalitetsskillnader mellan fristående och kommunala skolor. Man bör därför vara försiktig med att dra starka slutsatser kring orsakssamband från analysen.”

Han tycker kort gott att man inte kan påstå att det finns starka kausala samband, vilket så klart är rimligt både för att skillnaden är liten och för att det kan finnas oförklarade skillnader mellan eleverna som spelar roll.

IFAU misstänker att det finns oförklarade skillnader

Till den senaste Långtidsutredningen gjordes i bilaga 7 (Jämlikhet i möjligheter och utfall i den svenska skolan) en analys av nationella prov, som mynnade ut i att fristående skolor hade 0,08 standardavvikelse bättre resultat än kommunala skolor. Forskarna från IFAU som skrivit konstaterar att:

”Om särskilt motiverade elever väljer en fristående skola, men vår modell inte fullt ut korrigerar för detta, kan kvalitetsskillnaden mellan fristående och kommunala skolor överskattas. Skolors olika inriktning och profil gör att även andra faktorer, som kan vara av betydelse för hur det går i högstadiet, gör att elever i fristående och kommunala skolor inte är helt jämförbara. Det är sannolikt att detta ger en överdriven bild av skillnaderna i kvalitet mellan fristående och kommunala skolor.”

Och det verkar ju helt rimligt. Hade vi haft lottning till alla skolor (utan egen ansökan) hade resultaten varit mycket säkrare, med dagens system som bygger på egen ansökan utifrån intresse och där anmälningstid är den urvalsgrund som huvudsakligen används kan man på goda skäl förmoda att allt annat lika bör eleverna som går i fristående skolor i genomsnitt vara lite mer studiemotiverade och framför allt komma från lite mer studieintresserade hem, något som borde påverka deras resultat positivt.

Osynliga skillnader mellan eleverna

Så här långt kan vi konstatera att det är en liten skillnad till fördel för fristående skolor i resultat, men att den nog kan förklaras av i registren osynliga skillnader mellan eleverna.

Men hur är det då med Ulla Hamilton och reportaget i Läraren? Hon menar där att ”andelen toppbetyg är så mycket högre i fristående skolorna kan istället bero på att de attraherar elever med högre kunskaper”. Nu har vi ett vi har ett bra mått på det – 0,1 standardavvikelse; så mycket högre borde resultaten ligga.

Generösare än den berättigade skillnaden

Problemet är bara att i många ämnen ligger friskolornas övertag i betyg långt över 0,1 standardavvikelse. När jag för något år sedan räknade på hur mycket högre betygen är i teoretiska respektive praktiskt-estetiska ämnen på fristående skolor jämfört med kommunala skolor när resultaten är förankrade i nationella provet i matematik så visade det sig att på koncernskolorna varierade det mellan 0,67 och 0,81 meritpoäng extra, på övriga fristående 0,63; i estetiskt-praktiska ämnen är samma värden 0,80 till 1,00 respektive 0,62.

Och eftersom 0,1 standardavvikelse i betyg är ungefär 0,38 meritpoäng är detta 0,16–0,26 standardavvikelse eller ungefär dubbla det resultat som framkommer i Svenskt Näringslivs rapport. Så även jämfört med den ”berättigade” skillnaden är friskolorna alltså generösare.

Nu finns det en ytterligare aspekt på just den beräkningen i förhållande till betygen i de olika ämnena. Eftersom resultatet i mina beräkningar är ankrade i nationella provet i matematik och inte i bara i socioekonomi så är den skillnad om 0,1 standardavvikelse som föreligger enligt rapporten även inkluderad (finns det en sådan fördel i PISA bör den finnas i matematik-NP).

Så faktum är att hela betygsfördelen som visas i mitt blogginlägg är utöver vad som visas i Svenskt Näringslivs rapport. Så mycket talar för att det är en större generositet i betygssättning som förklarar de många A:n på fristående skolor och inte bättre resultat enligt PISA. För betygen är mycket högre även om man beaktar den lilla skillnaden mellan fristående och kommunala skolor som finns i Svenskt Näringslivs rapport.

Frågor & Svar