Lärarförbundet
Bli medlem

Detta är ett inlägg från Lärarförbundets utredarblogg

Svårt skapa goda progressionsmått

Hur ska skolans resultat mätas? Progressionsmått kräver mer än många tror.

Hur ska skolans resultat mätas? Progressionsmått kräver mer än många tror.

En fråga som alltid skapar diskussion är hur man ska mäta skolans resultat. Är det rimligt att bara se till en skolas faktiska betygsresultat eller behövs det något annat – ett progressionsmått – för att kunna uttala sig om en skola presterar väl eller inte?

För ett tag sedan höll Centerpartiet och Friskolornas riksförbund ett gemensamt seminarium om progressionsmått eller så kallade value added-mått. (För den som är nyfiken hade Friskolornas riksförbund ett liknande seminarium i Almedalen i somras.) Några olika saker slog mig under det seminariet:

Först och främst är det rätt klart att faktiska betygsresultat säger rätt lite om en skola presterar väl eller inte. En väldigt stor del av resultaten beror på utomstående faktorer, framför allt föräldrarnas utbildningsnivå. Därför är det bra med andra sätt att mäta hur väl skolor presterar, inte minst hur de förbättrar elevernas kunskaper. Frågan är bara hur sådana mått ser ut och hur de ska genomföras.

Den andra saken är politikernas önskan om att få till ett sådant här system, som står i bjärt kontrast till den skepsis som Skolverket tycks ha. Politikerna i den debatt som avslutade seminariet var rätt ense om att de ville se någon slags progressionsmått (något som bland annat Moderaternas Maria Stockhaus bloggade om).

I den presentation som Marie-Hélène Ahnborg från Ifous drog var hon rätt tydlig med att Skolverket ser en del problem, bland annat att det skulle krävas fler provtillfällen (något som redan stjäl en massa tid) och att det skulle kunna stimulera betygsinflation. Detta har gjort att det försök som Skolverket gjort för att få fram progressionsmått inte verkar lett någonstans.

Skolverkets Salsa fungerar delvis som progressionsmått

Idag har vi ett instrument som till en del fungerar som progressionsmått, Skolverkets Salsa-databas, där resultaten relateras till elevernas bakgrund och där skillnaden mellan en skolas förväntade värde och dess faktiska i någon mening kan tolkas som skolans insats. Salsa tyckte dock Liberalernas Christer Nylander var problematisk eftersom den riskerar att sänka förväntningarna på vissa elever.

Istället presenterades två stycken av fristående skolor egenframställda progressionsmått, ett för gymnasieskolan, som Academedia tagit fram, och ett för grundskolan som Internationella Engelska skolan (IES) tagit fram.

Academedias mått för gymnasieskolan innebär att man jämför elevernas snittbetyg när de börjar respektive slutar gymnasieskolan och ser om det har höjts eller sänkts – har skolan tillfört något.

I praktiken är det ett Salsainstrument för gymnasieskolan. Det skulle kunna förfinas genom att förklaringsvariabler som finns i Salsa läggs till (det används till exempel av Uppsala i deras gymnasiefinansieringsmodell för att träffsäkerheten blir högre om man kombinerar socioekonomiska variabler med betygsresultaten från grundskolan). Inget riktigt progressionsmått, men ändå ett funktionellt sätt att till en del fånga vad skolan gör.

Hur en progressionsmodell inte kan se ut

IES modell i sin tur bygger på jämförelser mellan nationella proven i år 6 och 9 och är ett lysande exempel på hur en progressionsmodell inte kan se ut. Den kort och gott mäter inte det den säger sig mäta. Vill ni ha något progressionsmått så använd i stället Salsa (där IES skolor oftast prestera bättre än förväntat).

Vad gör då IES? Jo, de studerar hur stora andel av deras elever som har minst C på de nationella proven i år 6 och i år 9, sedan jämför det de med hur det ser ut på kommunala skolor. Har det skett en förändring i hur stor andel av deras elever kontra andelen i de kommunala skolorna som uppnår C så ser det den förändringen som en skoleffekt. Tyvärr inget annat än rent bondfångeri.

I år 6 jämför IES äpplen med päron, och i år 9 en större äppelsort med plommon

En liknelse är att de i år 6 jämför äpplen med päron, för att i år 9 jämföra en större äppelsort med plommon och säga att förändringen däremellan går att tillskriva skolan.

Det första, men klart minsta, problemet är att de nationella proven inte är avsedda för den här sortens analyser. Det spelar sannolikt inte jättestor roll om inte många skolor har behövt använda reservproven, som inte säkert mäter samma saker som de ordinarie proven. Ett andra problem, dock fortfarande av det mindre slaget, är att rättningen varierar – av något skäl kanske man är snällare i 6:an än i 9:an, eller tvärtom (att använda nationella proven på det här sättet kanske leder till att man är lite strängare i 6:an och lite snällare i 9:an, till exempel).

Ett tredje problem är att det sker stora förändringar mellan åren vilka elever som går i de olika skolorna. IES mäter dock, enligt uppgift, endast hur det går för dem som gick i kommunala respektive deras egna skolor i både år 6 och år 9 (något som enligt Skolverket är möjligt). Oavsett kan elevförändringarna spela roll för resultaten – nya elever kan endera stimulera till bättre resultat eller försvåra undervisningsläget på skolan.

Till exempel hade IES 2 316 elever i sexan läsåret 2102/13 och 2 701 elever i nian 2015/2016 (de år som jämförelsen görs mellan). Det hade alltså tillkommit knappt 400 elever, vilket är en 17-procentig ökning av elevtalet; hur de eleverna presterar har vi ingen aning om, men de förändrar så klart resultatet för skolan – och om de sätts i klasser där de gamla eleverna går, kanske även hur de gamla eleverna presterar.

För kommunala skolor är motsvarande siffror 81 124 respektive 84 677. Det har alltså tillkommit några tusen elever. Dessa är i princip uteslutande nyanlända (sannolikt till och med fler eftersom de fristående skolorna vuxit med tretusen elever), vilka vi vet i sig har svårare att klara kraven och dessutom oftast har föräldrar med svag utbildningsbakgrund. Och även dessa elever kan ha en överspillseffekt på sina klasskamrater.

Slutsatsen är alltså att det uppenbart är olika elevgrupper de olika åren och även om vi rensar bort de elever som inte gjort bägge proven kan de förändrade elevgrupperna göra att resultaten förändras på ett annat sätt än de skulle göra utan att elevgrupperna förändrats.

Isolerar inte skolprestation från annat

Det fjärde och riktigt stora problemet med IES mått är dock att det inte isolerar skolprestation från andra saker. Det kanske inte alls är IES som presterar väl; det kanske är föräldrarna till dess elever som hjälper till mer med skolarbetet, låter barnen göra eftermiddagsaktiviteter som har positiv effekt på skolarbetet, ser till att läxorna blir gjorda i högre grad, skickar barnen på språkresor utomlands och så vidare. Jämförelsen med kommunala skolor tar naturligtvis inte in de aspekterna över huvud taget.

Och eftersom vi vet att just sådana saker brukar samvariera rejält med föräldrarnas utbildningsnivå är det intressant att konstatera att i Salsas tregradiga skala (där 1 är grundskole-, 2 gymnasie- och 3 högskoleutbildning) är genomsnittet för IES skolor i år 9 2,46, mot 2,21 för kommunala skolor. IES elevers föräldrar är alltså välutbildade i jämförelse med kommunala skolor och kan därmed misstänkas i högre grad göra saker som underlättar för sina barns skolgång.

Justerar inte för faktorer utanför skolmiljön

Detta visar att det klart inte är ett progressionsmått för skolan som IES tagit fram, eftersom det inte justerar för faktorer utanför skolmiljön. Just det som är det allra viktigaste i ett progressionsmått.

Reklamprodukt, inte progressionsmodell

IES modell är en reklamprodukt, inte ett progressionsmått! Och säger därmed lite om hur både IES skolor och någon annan skola i Sverige påverkar sina elever.

Modellen skulle kunna vara tillföra något av värde, men bara om den gjordes på följande sätt:

  1. du måste hitta syskonskolor som är helt jämförbara, de ska ligga i ungefär samma slags områden, ha ungefär lika välutbildade föräldrar och dessa ska ungefär samma ekonomi och liknande preferens för vikten av skolan
  2. du kan endast jämföra mellan elever som går på skolan både i år 6 och i år 9
  3. i ditt urval får du endast ha med skolor vars elevgrupper är ganska konstanta över åren
Progressionsmått måste isolera effekten av skolan

Ett riktigt progressionsmått måste isolera effekten av skolan från övriga effekter. I Sverige har det genomförts en studie, av forskarna Alan B. Krueger och Mikael Lindahl, som försöker komma runt problemet med att isolera skolans bidrag till kunskapsutvecklingen från övriga bidrag. Den handlar om effekten av minskade klasstorlekar (som för övrigt var positiv).

I den undersökningen gav de ett test i slutet på årskurs 5, ett i början på årskurs 6 och ett i slutet på årskurs 6, där den klasseffekt som de fann var skapad genom skillnaden mellan kunskaper i slutet år 5 och 6, med kontroll för förändringen av kunskaper mellan slutet på år 5 och början på år 6 för att på så vis justera för föräldraeffekt med mera. Att de behövde göra så visar på att ett bra value added-system skulle behöva innebära en än större provapparat (och trots det är det långtifrån säkert att de lyckades fånga alla utomskolseffekter).

Bygg vidare på Salsa

Det vore bra om skolsystemet kan få ett rimligt fungerande progressionsmått, utan att vi samtidigt behöver bygga ut provsystemet än mer. Själv tycker jag att det bästa vi skulle kunna göra för att få ett progressionsmått för grundskolan är att bygga vidare på Salsamodellen, genom att använda hela det likvärdighetsindex som Skolkommissionen har låtit ta fram. Då kommer precision att bli mycket högre, upp mot 75 procent av resultaten i en skola förklaras med hjälp av det. Den skillnad vi får fram då mellan förväntat och faktiskt värde kommer antagligen ganska väl fånga skolors insats.

För den som vill veta mer om den internationella diskussionen om value added-mått har Education International tagit fram en rapport som är klart läsvärd.

Kommentera inlägget!

Med ett konto på lararforbundet.se kan du kommentera, spara och söka bland mer än 30 000 artikler. För alla lärare är lika viktiga - även de som inte är medlemmar i vårt fackförbund (ännu).

Bli medlem

eller logga in här