Lärarförbundet
Bli medlem

Detta är ett inlägg från Lärarförbundets utredarblogg

Vi kan lita på PISA

Trots debaclet med exkluderingar kan man i stort lita på resultatet i PISA.

Trots debaclet med exkluderingar kan man i stort lita på resultatet i PISA.

Det är bra att de internationella studierna granskas, men det behöver göras utifrån en rimligt angreppsätt. Den senaste analysen av PISA sprider tyvärr mer dimridåer än den klargör. Det vore ändå bra om regelboken följs nästa gång.

Efter Riksrevisionens analys i slutet på förra veckan väcks så klart frågan om man kan lita på PISA? Det där handlar så klart om vad man avser med orden lita på och vad man vill veta. Mitt svar är att på det stora hela utifrån det som PISA försöker mäta kan man lita på de svenska Pisa-resultaten.

Riksrevisionen beskriver det hela på detta sätt i sin rapport (hämtat från Skolverkets rapport om PISA 2018):

”Syftet med undersökningen är att återkommande undersöka i vilken grad länders utbildningssystem bidrar till att 15-åriga elever är rustade att möta framtiden utifrån de tre ämnesområdena läsförståelse, matematik och naturvetenskap. Till skillnad från de nationella proven är de internationella studierna konstruerade för att möjliggöra jämförelser över tid och mellan länder och på så vis ge värdefull information om det svenska skolsystemet.”

Här finns några saker att ta fasta på:

  1. det är utbildningssystemet som ska undersökas
  2. den ska möjliggöra jämförelser över tid och mellan länder

Om det är utbildningsystemet som ska jämföras och de ska vara meningsfulla över tid och mellan länder, blir sådant som resultaten för elever som är invandrade relativt ointressanta. De har nämligen inte genomgått ett lands hela utbildningsystem och därtill varierar gruppen i storlek, varifrån den kommer, vilken utbildningsbakgrund den har och eventuell språklig gemenskap med testspråket (t ex kan en skola med undervisning på engelska välja att genomföra provet på engelska och om de eleverna då är mycket starkare på engelska än på svenska lär de prestera bättre).

Se till gruppen med svensk bakgrund

Alla de här faktorerna gör att för att utröna det som PISA vill mäta måste man titta på gruppen med svensk bakgrund, till exempel de som har en svensk förälder oavsett födelseland, som Gabriel Heller Sahlgren gör här eller som Skolverket gör i sin PISA rapport (figur 17b), ett annat alternativ är att inskränka bara till de som är födda i landet. Egentligen borde också de internationella jämförelserna inskränkas till att bara handla om elever med bakgrund från det egna landet, då migrationen ser så olika ut mellan olika länder. Eller inskränkas till elever födda i ett land.

Håller vi oss till den gruppen med svensk bakgrund har medelvärdet i läsning gått från 2012 års 496 poäng, över 2015 års 514 till 2018 års 525. En klar och statistiskt signifikant uppgång. (För alla i Sverige är motsvarande serie 483, 500 & 506, där ökningen från 2012 till 2015 är statistiskt säkerställd, men inte den från 2015 till 2018.)

Men kan vi då lita på den uppgången? Riksrevisionen slår fast att ”Ett ökat antal nyanlända är inte en giltig förklaring till den höga andelen exkluderade elever i Pisa-undersökningen 2018”. Här bör man ta fasta på ordet giltig och inte på orden ökat antal nyanlända, som många debattörer har gjort.

För många exkluderades

Jag är helt övertygad om några saker: för många exkluderades jämfört med reglerna (det var därmed inte en giltig förklaring till att de uteslöts), men de flesta av de felaktigt exkluderade är nyanlända som har varit i Sverige en kortare period och de kan därmed inte ha påverkat utvecklingen för elever med svensk bakgrund som redovisas ovan.

Om vi går till Riksrevisionens rapport så noterar de, i linje med vad min uppfattning, att ökningen av antalet elever i Sverige som kommit hit som tolv- och trettonåringar är mycket mindre än den är i Danmark och Tyskland, när det utifrån migrationens storlek borde vara tvärtom.

Vi kan också notera att antalet elever i den årskurs som huvudsakligen skrev PISA 2018 ökade med strax över 9000 elever från år 2014, eller 8,2 procent. Årgången (2002) i sin tur ökade med 6760 personer, men bruttoinflyttningen i densamma var enligt SCB under samma tidsperiod 9583, eller cirka åtta procent. Allt talar därför att den stora delen av exkluderingar och ökningen av densamma beror på elever som är nyanlända till Sverige.

Men det står också klart att en del av dessa skulle inte ha exkluderats om reglerna hade följts till punkt och pricka. Det hade gett en viss effekt på det övergripande svenska resultatet om de varit med, men hade inte påverkat resultatet för elever med svensk bakgrund alls.

Årskurserna ökade kraftigt i storlek

Bilden här nedan visar på hur mycket årskurserna har ökat i storlek de fyra åren före de senaste årens internationella prov och hur stor andel som har exkluderats (notera dock att exkluderingarna i Pisa 2018 är överskattade med ungefär 0,5 procent pga dubbelräkning).


Kan det inte förekommit andra exkluderingar som varit fel? Mycket sannolikt, men frågan är om det varit i en särdeles mycket högre grad än tidigare. Lite talar för det, den stora ökningen av exkluderingar finns hos mer eller mindre nyanlända elever.

När Skolverket gör omräkning av Riksrevisionens uppgifter landar verket i att en exkluderingsgrad om 9,75–10,25 procent är korrekt (återfinns i det länkade dokumentet), inklusive en övertäckning om tre procentenheter; med andra ord kanske det är fyra procent som är felaktigt exkluderade, vilket till stor del kan förklaras av nyinvandrade elever som har exkluderats för generöst (det motsvarar ju ungefär halva den immigration som skedde från 2014).

Bortfallet kan vara ett problem

Den andra frågan är bortfallet. Den kan för resultat för elever med svensk bakgrund vara ett större problem. Några saker att komma ihåg är dock att bortfall finns i varje undersökning, elever som är sjuka, skolkar, inte slutför provet i tillräckligt hög utsträckning, vars föräldrar inte ger tillåtelse osv.

På rimliga grunder kan man anta att de bortfallande i genomsnitt antagligen presterar något sämre än snittet, men det gäller ju då för alla årgångar och alla länder. Ska hänsyn tas till det borde hela skalan göras om.

Istället får vi nog utgå från att bortfallet, så länge det är konstant, har ungefär samma effekt. Är fem procent borta år 2015, borde effekten av deras frånvaro vara densamma som att fem procent är borta 2018 (minus de statistiska osäkerheter som alltid finns i en urvalsundersökning).

Vad vi då har kvar att beakta är förändringen av bortfallet. Jämfört med 2015 så ökade det 2018, från nio procent till fjorton. Just det är en sak som talar för att exkluderingar framför allt har skett bland nyanlända, hade det varit stora exkluderingar i andra grupper borde bortfallet rimligen ha minskat, utifrån teorin att det framför allt är svagare elever som exkluderats och som på olika sätt tillhör bortfallet.

Föräldravägran har ökat kraftigt

Men vad förklarar då det ökade bortfallet? En stor del beror på att fler föräldrar har vägrat ge sina barn tillstånd till att skriva, år 2018 var det 161 som inte fick skriva av det skälet, mot 29 år 2015, vägran förklarar därmed 42 procent av ökningen eller två procentenheter av densamma.

Ett sannolikt skäl till att andelen vägrare ökar 2018 är att Skolverket, förutom själva provgenomförandet, också ville ha tillstånd till att använda registerdata, vilket bör ha fått ett antal att vägra av integritetsskäl. Det är lite som talar för att en sådan vägran inte skulle vara relativt jämnt spridd över elevernas förmåga (man kan t o m misstänka att det kan vara tvärtom).

Då har vi kvar tre procentenheters ökning av bortfallet att fundera kring. Av dem har ett antal inte svensk bakgrund, så de får vi räkna bort. Då blir det drygt två procentenheter kvar. I den gruppen finns sannolikt lågpresterande, men också en del högpresterande som valt att frånvara för att istället satsa på de nationella prov, som äger rum mer eller mindre samma vecka.

Och till och med om vi gör – utifrån ovanstående helt osannolika – antagandet att de i snitt skulle prestera som den tiondel som presterade sämst av eleverna med svenska bakgrund, skulle ändå inte snittet för de med svensk bakgrund hamna under 520 i PISA 2018, vilket alltså är över 2015 års resultat (om inte statistiskt signifikant). Även om vi antar att en procentenhet av exkluderingarna (vilket som visades ovan är rätt osannolikt) skulle ha svensk bakgrund är ändå resultatet på samma nivå.

För att därtill kunna göra en rimlig jämförelse med andra länder måste man fullt ut göra samma beräkningar för dem. Det är mycket svårare än Riksrevisionen gör det till. Men man kan ganska lätt konstatera att Danmark, utan adderade bortfall, presterar 509 poäng hos eleverna med dansk bakgrund.

Slutsatsen är rätt klar. När man beaktar vad som förklarar exkluderingar och bortfall, samt ser till vad PISA egentligen är bra på – att mäta förändringar över tid – finns det lite som säger att de påverkat resultatet för eleverna med svensk bakgrund i någon större utsträckning. Vi kan fortfarande lita på PISA.

Sen vore det så klart bra om allt nästa gång, nästa vår, görs helt enligt regelboken.


Frågor & Svar