Aktuellt

2017-11-21 12:20

Nationella prov kan inte förbättra betygen

SKOLVÄRLDEN, 21 AUGUSTI 2014

De nationella proven bidrar inte till betygens rättssäkerhet och likvärdighet. De har aldrig förhindrat betygsinflation och de kan inte förbättra en betygssättning som ska baseras på helhetsomdömen. Det skriver Per Måhl, sakkunnig i betygssättning och bedömning, föreläsare och fd utredare på Skolinspektionen.

I Sverige råder delade meningar om värdet av nationella prov. Några anser att betygssättning fungerade bättre förr då betygen anpassades till medelbetyg på nationella prov. Andra anser att betygssättningen inte fungerade bra 1994-2011 men tror att den kommer att fungera bättre med 2011 års anvisningar. Att man har infört fler nationella prov uppfattar de som positivt. Ytterligare andra anser att de nya anvisningarna inte är nog tydliga och att fler nationella prov inte gör saken bättre. Så frågan är: ”Kan nationella prov bidra till att betygssättning fungerar bättre?”

Ett argument för nationella prov har varit att proven kan förhindra betygsinflation och vissa debattörer anser att det inte fanns någon betygsinflation i det relativa systemet. Det är inte sant. Enligt de anvisningar som gällde före 1994 skulle de relativa medelbetygen vara 3,3 på N-linjen och 3,0 på övriga linjer. I verkligheten var medelbetygen ca 3,7 på N-linjen och 3,5 på övriga linjer. Om lärarna hade följt reglerna och sänkt medelbetygen till 3,3 och 3,0 skulle 40 % av eleverna, ca 10 elever i varje klass, ha fått ett betygssteg lägre i varje ämne.

Att medelbetygen blev så mycket högre än idealvärdena berodde på att elever med låga terminsbetyg, 1:or och 2:or, inte fortsatte till nästa termin/årskurs. Varför skulle de det? Den som på ett studieförberedande program fick 1:or eller 2:or i svenska, matematik, engelska, fysik etc blev ju inte behörig till högskolan. Alltså, eleverna gick om, bytte program eller avbröt gymnasiet.

Enligt anvisningarna skulle betygen då sänkas på elever som tidigare hade fått 3:or med motivet att 1:orna och 2:orna inte längre ingick i jämförelsegruppen/riksklassen. Det gjorde inte lärarna. Hade de gjort det så hade de brutit mot den anvisning som sa att slutbetyg skulle vara sammanfattande. Det vill säga, elever som hade fått 3:or i terminsbetyg tidigare, skulle få 3:a i slutbetyg, oavsett om eleven hade fått 1:a eller 2:a på ett nationellt prov. Lärare fick också veta att antalet 3:or i en klass inte kunde ta slut. Var och en kan föreställa sig hur elever skulle ha reagerat om en lärare trots det sa: ”Du har visserligen haft 3:a i svenska i 5 terminer men eftersom du fick 2:a på nationella provet, sänks betyget. Det innebär att du måste komplettera på Komvux innan du kan börja på högskolan.”

Det vill säga, före 1994 fanns en sorts betygsinflation — att medelbetygen höjdes år från. De nationella proven förhindrade inte den inflationen och inflationen gav också upphov till samma debatt som den som nu förs. Även då ansåg sig kritiker veta att vissa lärare gjorde sig populära genom att inte följa reglerna, vara för snälla och sätta för höga betyg på sina elever.

Hur gick det då med inflationen när betygsanvisningarna ändrades 1994?

Under åren 1997-2002 sänktes kraven för betyg, framför allt för elever på N-programmet och för betygsnivån MVG. De nationella proven gjorde varken till eller från. Under åren 2002-2012 ändrades medeljämförelsetalet inte nämnvärt och det sattes ungefär lika många MVG som 5:or före 1997. Även då fanns det nationella prov. Det vill säga, det finns inga statistiska belägg för att betygskraven generellt har sänkts 2002-2012 och det finns inga belägg för att nationella prov har kunnat förhindra betygsinflation. Det är däremot belagt att de kunskapsrelaterade betygen inte alltid blev rättssäkra och att de bedömningar som betygen grundades på inte har varit rimligt likvärdiga. Kraven har därmed varierat mellan lärare och skolor. Men orsakerna till de bristerna och orsakerna till den inflation som fanns före 1994 är så olika att varje jämförelse blir osaklig.

Enligt gällande anvisningar ska lärare ta hänsyn till all information, formulera generaliserade omdömen som kan relateras till kunskapskraven för E, C och A och på begäran motivera ett betyg. En lärare kan till exempel säga: ”Av dina resultat som helhet framgår inte att du har de kunskaper i ellära eller den problemlösningsförmåga som krävs för betyget A i fysik.” Om en lärare istället säger: ”Du fick inte A i fysik därför att du fick C på det nationella provet” begår han/hon tjänstefel. Att lärare ibland ska sätta ett annat slutbetyg än det betyg som eleven fick på ett nationellt prov är en del av systemet.

Under det senaste året har de nationella proven kritiserats. Lärare har påvisat att proven ibland är felkonstruerade. Rektorer har påpekat att det höga antalet prov kostar mer än det smakar. Proven ökar lärarnas arbetsbörda, vilket går ut över undervisningen och medför att eleverna lär sig mindre. Till det ska läggas att proven inte bidrar till betygens rättssäkerhet och likvärdighet. De har aldrig förhindrat betygsinflation och de kan inte förbättra en betygssättning som ska baseras på helhetsomdömen.

Länk

2017-11-21 12:16

Svenska nationella prov har inga positiva effekter

Svd, 24 apr. 2016

Är nationella prov bra? Frågan har bara ett rätt svar: Det beror på hur proven är utformade, hur de rättas, hur de genomförs, hur de förbereds och följs upp. Men så svarar ingen i Sverige, skriver Per Måhl, sakkunnig på bedömning och betygssättning.

På våren 2009 infördes nationella prov i åk 3. Utvalda akademiska pedagoger fick då frågan: ”Är nationella prov bra?” En del sa: ”Prov är inte bra! Elever som inte lyckas mår sämre och lär sig mindre.” Andra sa: ”Prov är bra! De stimulerar elever och den som inte lyckas får mer hjälp.” Båda svaren är typiska för svensk debatt om prov och betyg. Alltsedan 1970-talets elevrevolt mot relativa betyg och centrala prov har ”vänstern” hävdat att alla former av prov och betyg är dåliga och ”högern” att alla former är bra.

Men att döma av forskning varierar effekterna av prov och betyg med hur de är utformade. Om uppgifterna speglar autentisk förmåga och rättas på ett för eleven begripligt sätt, om eleven vet i förväg hur uppgifterna ser ut och rättas och om elevens resultat tas som utgångspunkt för övning, då blir effekterna positiva. Detsamma gäller för betyg. Betyg som sätts utifrån jämförelser med andra har inga positiva effekter. Betyg som speglar kunskapskrav har bättre effekter. Det vill säga, frågan ”Är nationella prov bra?” har bara ett rätt svar: ”Det beror på hur proven är utformade, hur de rättas, hur de genomförs, hur de förbereds och följs upp.” Men så svarar ingen i Sverige! I svensk debatt om prov behöver man inte veta hur de faktiska proven ser ut.

Hur ser då de nationella proven ut? Fick proven i åk 3 positiva effekter? I det läsprov (från 2009) som finns på Skolverkets hemsida fick eleverna läsa en text som började så här: Sam är en av de stora tuffa killarna. Han brukar skrika ’skitungar’ efter alla småbarn. Han brukar jaga dem och kasta sten på dem. Nu ställer sig Sam mitt framför dem. — Ni vet inte vad som finns i det där huset, säger han. — Nä, säger Tania och Teo. — Har ni hört talas om Blodligan? väser Sam med en hemsk röst. — Nä … Teo och Tania bara gapar. — Blodligan håller till där inne! viskar Sam. Lyd mitt råd och gå inte in dit. Jag skulle aldrig våga. Håll er borta från det här stället!

Till texten ställdes 18 frågor. De tre första löd:

  1. Vem är Sam? A. Han är en stor hund. B. Han är en liten kille. C. Han är en stor farbror. D. Han är en stor kille.
  2. Vad brukar Sam göra när han träffar små barn? A. Han brukar slå och sparka dem. B. Han brukar skrika skitungar efter dem. C. Han brukar leka i skogen med dem. D. Han brukar låtsas att han inte ser dem.
  3. Varför talar Sam med en hemsk röst när han berättar om ödehuset? A. Han är sjuk och har ont i halsen. B. Han vill skrämma Tania och Teo. C. Han är rädd för Tania och Teo. D. Han vill härma Blodligan

Fråga 4-17 såg likadana ut. Den 18:e och sista uppgiften löd: Vad handlar berättelsen Blodligan om? Skriv med dina egna ord om barnen. Var är de någonstans och vad händer? Rita gärna en bild till!

Den som fick 14 poäng bedömdes ha nått målet. Men uppgifterna var inte utformade och rättades inte på det sätt som krävs för att identifiera elever som inte förstår texten. Och varför drogs gränsen mellan 13 och 14 poäng? Kan man av en poängs skillnad avgöra att en elev har förstått en text medan en annan inte har det? Och vad gör läraren med de elever som fick 14 poäng men svarade fel på uppgift 18?

Kortfattat kan svenska nationella prov beskrivas så här. Vissa delprov, t ex läsprov, innehåller många uppgifter som inte speglar kunskapskrav. Andra delprov bedöms med betygsnivåer som inte existerar. Felaktiga delprovsbetyg summeras på ett sätt som strider mot betygsanvisningarna. Kraven för godkända provbetyg är för lågt ställda. I åk 9 har ca 95 % av eleverna fått godkända betyg på svensk- och engelskproven trots att ca 15 % inte förstår de enklaste texterna i PISA-undersökningar. Provbetygen ger inte underlag för att avgöra om en elev kan det som krävs för ett visst betyg i en viss årskurs. Till det kommer att proven är sekretessbelagda i tanke att elever inte ska kunna öva inför dem. Det vill säga, svenska nationella prov har inga positiva effekter. De är inte betygsstödjande och de bidrar inte till elevernas kunskapsutveckling. Av resultaten framgår inte huruvida en elev är i behov av stöd.

Nu har en utredning föreslagit fyra förändringar: (1) nationella prov i åk 3 ska tas bort, (2) vissa prov ska rättas digitalt, (3) lärare ska anpassa slutbetyg till provbetyg och (4) vissa prov, t ex skrivprov i svenska och engelska, ska rättas centralt. Får förändringarna positiva effekter? Låt oss ta en sak i taget.

  1. I sin nuvarande utformning har de nationella proven i åk 3 inga positiva effekter. Men om proven anpassas till internationella prov (PIRLS- och PISA) och kompletteras med anvisningar om hur de ska för- och efterarbetas så får de positiva effekter. Att ta bort proven förbättrar ingenting.
  2. Digital rättning påverkar hur prov ser ut och rättas. Uppgifter som förutsätter att en elev redogör för, jämför, reflekterar, tar ställning, ger argument etc tas bort. Om läsprovet i åk 3 hade rättats digitalt så hade den enda uppgiften som speglar att eleven förstår texten tagits bort. Det vill säga, prov som rättas digitalt ger sämre underlag för att bedöma det som står i svenska betygsanvisningar. Proven blir mindre betygsstödjande. Dessutom försämras provens effekter på elevernas motivation och lärande.
  3. Av Skolinspektionens granskningar framgår att lärare kan vara oense om vilket uppgiftsbetyg en prestation på ett nationellt prov ska ges. Trots det har slutbetyg bättre prognosvärde än Högskoleprovet. Varför? Jo, i slutbetyg bortser lärare från prestationer som är mindre typiska för en elev och gör helhetsbedömningar baserade på den information som har framgått under alla lektioner. Det medför att slutbetyg får bättre prognosvärde än Högskoleprovet. Vad händer om lärare ska anpassa slutbetyg till nationella provbetyg? Då ska lärare istället bortse från den information som de har fått tillgång till under alla lektioner. Det försämrar slutbetygens prognosvärde Det förbättrar inte heller slutbetygens rättssäkerhet och likvärdighet.
  4. Central rättning kan förbättra likvärdigheten i uppgiftsbetyg. Men det kostar och det sparar ingen tid. Lärare måste ändå läsa och bedöma sina elevers prestationer. Huruvida central rättning förbättrar slutbetygens likvärdighet är en öppen fråga. Central rättning har inga positiva effekter på elevernas motivation och lärande.

Det vill säga, inget av utredningens förslag tar fasta på de brister som finns i de nationella proven. Förslagen är inte förankrade i forskning. Förslagen förbättrar inte slutbetygens rättssäkerhet, likvärdighet eller prognosvärde. Förslagen förbättrar inte provens effekter på elevernas motivation och lärande. Man verkar inte känna till hur bra prov ska se ut och att information före och efter proven avgör om effekterna blir positiva eller inte.

Under de senaste 20 åren har lärare påpekat bristerna i de nationella proven. De har ifrågasatt den vägledning för betygssättning som proven ger och gett förslag till förbättringar. Det enda svar som lärare har fått lyder: ”Svenska nationella prov görs av experter och är felfria.” Ingen vill medge att proven har brister. Ingen tar ansvar för att elever och lärare har ägnat tid åt att genomföra och rätta felaktiga prov. Istället ifrågasätts lärarnas kompetens. Lärare som gör rätt och bortser från felaktiga provbetyg som varken stämmer med övrig information eller med betygsanvisningar får kritik. När det gäller ”prov och betyg” är det alltid och endast lärare som gör fel. Efter att under 25 år ha skrivit fackböcker och föreläst om ”prov och betyg” och efter att ha tagit del av 2016 års utredning om de nationella proven är jag inte optimistisk.

Länk

2017-11-18 18:21

De nationella proven i språk är felkonstruerade

Pedagogiska Magasinet, 21/11, 2013

Kunskapskraven i läroplanen och de nationella proven i språk – de matchar inte varandra. Så vad får vi då ut av proven, undrar Per Måhl.

Skolverket har beskrivit hur kunskapsrelaterade betyg på prov och arbetsuppgifter ska sättas och klargjort att elevernas prestationer ska relateras till kunskapskraven. Men provbetygen på nationella prov i språk utgör ett undantag. De relateras inte till kunskapskraven, och i ljuset av den betydelse som nationella prov har och av den debatt som förs om dessa prov, är undantaget besvärande. I praktiken bidrar proven till att lärare sätter betygen B och D på alla examinationsuppgifter. Det i sin tur medför att elever inte förstår hur betygsnivåerna D och B är reglerade.

I Skolverkets stödmaterial ”Betygsskalan och betygen B och D” från 2012 beskrivs hur ett kunskapsrelaterat betyg på ett prov eller en arbetsuppgift sätts. Först ska läraren formulera uppgifter som speglar ett eller fler kunskapskrav. Sedan ska elevernas prestationer relateras till de kunskapskrav som uppgifterna speglar. Om en prestation motsvarar kunskapskraven för A, får eleven betyget A på provet eller arbetsuppgiften, om prestationen motsvarar kunskapskraven för C, får eleven betyget C etcetera. Det vill säga, om två villkor är uppfyllda blir ett betyg på ett prov eller en arbetsuppgift kunskapsrelaterat. För det första — uppgifterna speglar ett eller flera kunskapskrav. För det andra — elevernas prestationer relateras till de kunskapskrav som uppgifterna speglar.

Att betyg på nationella prov i språk inte är kunskapsrelaterade kan exemplifieras med 2012 års läsförståelseprov på D-kursen i SFI . Kunskapskraven ser ut så här:

E: Eleven kan göra sammanfattningar av huvudinnehållet i berättande texter om bekanta ämnen

C: Samma som för E + kommentera väsentliga detaljer

A: Samma som för E + kommentera väsentliga detaljer och vissa nyanser

Kursens nationella läsprov bestod av ett flertal uppgifter, de flesta av flervalstyp. Maximal poäng var 40 och elevernas resultat skulle översättas till provbetyg enligt följande:

Betyg F E D C B A
Poäng 0-27 28-34 35 36-38 39 40

Men av bedömningsanvisningarna framgick inte varför just 28 poäng speglade att eleven hade sammanfattat huvudinnehållet (E-nivå), inte heller varför 36 eller 40 poäng speglade att eleven hade kommenterat detaljer (C-nivå) eller uppfattat nyanser (A-nivå). Dessutom skulle 35 poäng ge betyget D och 39 poäng ge betyget B, trots att det inte finns några kunskapskrav för D och B i läsförståelse. Det vill säga, elevernas prestationer relaterades inte till kunskapskraven. Delprovsbetygen blev inte kunskapsrelaterade.

Detsamma gäller för alla delprov i språk. Inte heller här förs några resonemang om hur elevernas prestationer speglar kunskapskraven för E, C och A. Även här ska vissa prestationer betygssättas med B och D trots att det inte finns några kunskapskrav för B och D att relatera delprovsbetygen till.

Till det kommer att ett delprovsbetyg ska vägas samman till ett provbetyg. 2012 års D-kursprov i SFI innehöll fyra delprov: läsa, höra, tala och skriva. Elevens sammanvägda provbetyg beräknades så här.

Läsa F = 0 E = 1 D = 2 C = 3 B = 4 A = 5
Höra F = 0 E = 1 D = 2 C = 3 B = 4 A = 5
Tala F = 0 E = 1 D = 2 C = 3 B = 4 A = 5
Skriva F = 0 E = 1 D = 2 C = 3 B = 4 A = 5

Det vill säga, om en elev fick D på läsa, C på höra, B på tala och D på skriva fick eleven 11 poäng som dividerades med 4 och avrundades till 3. Eleven fick provbetyget C. En elev som fick B på alla delprov fick provbetyget B trots att eleven inte någon gång motsvarat kraven för A. En elev som fick F på ett delprov fick E trots att eleven inte motsvarat kraven för E. Det vill säga, kraven för provbetyg är lägre ställda än kraven för betyg. Även om delprovsbetygen i språk hade varit kunskapsrelaterade skulle de sammanvägda provbetygen inte bli kunskapsrelaterade.

1994 avskaffades det normrelaterade betygssystemet. Bedömningar skulle inte längre relateras till medelprestationer och spegla skillnader i provpoäng. Istället skulle provbetyg kunna motiveras med ord. Tanken var att en elev som till exempel får betyget C på ett nationellt läsprov ska få gensvaret: ”Du har kommenterat detaljer (C-nivå) men inte kommenterat nyanser (A-nivå)”. Att det går att konstruera sådana uppgifter framgår av läsproven i Pirls och Pisa. Där kan bedömningarna motiveras med kunskapsomdömen av typen ”Du kan återge sakupplysningar i texten” eller ”Du kan återge innehåll sammanhängande”. Men betyg på ett nationellt prov i språk kan inte motiveras med ord. Istället får läraren hänvisa till poängskillnader och till exempel säga: ”Du fick E därför att du fick 34 poäng. Hade du fått 35 poäng hade du fått D på läsprovet och C på hela provet.”. Sådana provbetyg är inte kunskapsrelaterade utan relativa.

Nationella prov har starka styreffekter. Det beror bland annat på att Skolinspektionen och andra granskare jämför slutbetyg och provbetyg på nationella prov. Avvikelser uppfattas som brister och kan anföras som bevis på att skolan sätter alltför höga betyg. Om provbetygen speglar kunskapskraven kan sådana jämförelser vara rimliga. Om de inte gör det, finns ingen grund för dessa jämförelser.

Alltfler politiker har framfört uppfattningen att lärare borde ägna mindre tid åt dokumentation och mer tid åt undervisning. Trots det har antalet nationella prov och delprov ökat i årskurs 6 och 9. Politiker verkar tro att fler prov gör betygen mer rättssäkra och likvärdiga. Men ett ökande antal felkonstruerade prov har inga positiva konsekvenser för betygssättningen. Istället tvingas alltfler huvudmän, rektorer och lärare ägna mer tid, kraft och pengar åt att administrera nationella prov som inte har några positiva effekter. Det är hög tid att ifrågasätta de nationella proven i språk i synnerhet och det ökande antalet nationella prov i allmänhet.

Länk

<<   5 sidor   >>