"Det är dags att kritiskt granska John Hattie"

Från Pedagogiska magasinet 2013-11-21 22:07

"John Hattie drar alldeles för långtgående slutsatser av sina ihopsamlade data – och dessutom glömmer han att ta hänsyn till flera viktiga faktorer som skolan har att förhålla sig till". Det skriver professor Claes Nilholm.


Bild: Ulf Frödin

Jag var med om en intressant erfarenhet nyligen när jag föreläste för en grupp rektorer i Stockholm. Jag nämnde att jag skrivit en blogg med det som jag tyckte lite fyndiga namnet Att bli lite i hatten av Hattie. ”Vad bra att någon är kritisk till Hattie”, sa en av åhörarna, ”här är han som en gud.” Eftersom jag utöver bloggen också riktat kritik mot John Hattie i andra sammanhang blev jag lite förvånad. Hade inget av denna kritik landat i diskussionen? Det verkade inte så.

Några som tagit emot John Hattie med öppna armar är Sveriges Kommuner och Landsting, SKL, som presenterar hans studie i rapporten Synligt lärande – Presentation av en studie om vad som påverkar elevers studieresultat. Här möter vi en leende John Hattie redan på sidan sju och det är ingen tvekan om att han även skulle le efter en genomläsning av rapporten om han kunnat läsa svenska. Den är på det stora hela okritisk. Men för att kunna dra någon rimlig nytta av John Hatties forskning är det två saker som är av största vikt att betona.

För det första undersöker han endast påverkan på utbildningsprestationer. De är viktiga men skolans uppdrag är bredare än så. Elever ska till exempel också känna lust för lärande, fungera med kamrater, vara självständiga, kritiskt tänkande, solidariska och förberedas för att bli aktiva samhällsmedborgare. Intressant nog nämner både John Hattie och SKL detta bredare uppdrag för skolan. Sedan resonerar man dock som om en modell för lärares arbete kan byggas på forskningsdata som isolerar kunskapsprestationer från detta bredare uppdrag.

Man borde ha frågat sig om det som är effektivt för att höja kunskapsprestationerna också är funktionellt vad gäller hela det bredare uppdraget. Till exempel demokratiuppdraget handlar ju om mycket mer än att ge eleverna goda kunskaper. Goda kunskaper kan även elever i en diktatur få.

För det andra drar John Hattie alldeles för långtgående slutsatser. Han är mer nyanserad när han inne i sin bok Synligt lärande diskuterar olika faktorers betydelse för utbildningsprestationer än han är i slutet av boken. Där redovisar han summerande mått i tabellform och faktorer rankas efter sin betydelse. Olyckligtvis lägger SKL stor tonvikt vid dessa summerande mått. Jag skulle vilja påstå att summeringarna, om de används för att vägleda lärares arbete, kan ge helt felaktiga implikationer. Jag ska med två exempel illustrera vad jag menar.

Mitt första exempel rör effekten av ”upptäckande undervisning”, eller ”inductive teaching” på engelska, vilket förenklat kan beskrivas som ett arbetssätt där elever genom att utgå från ett material ska nå mer generell kunskap. Här redovisar Hattie två metaanalyser. En är från 2008 och omfattar 73 studier som berör ”inductive teaching”, den visar att arbetssättet generellt ger en relativt stark effekt. Enligt en metaanalys från 1983, som omfattar 24 studier av ”inductive teaching” i naturvetenskapliga ämnen, ger arbetssättet en svag effekt.

Hattie tar helt enkelt medelvärdet av dessa båda metaanalyser och därmed kan ”upptäckande undervisning” avfärdas. En rimligare slutsats vore att ”upptäckande undervisning” i naturvetenskapliga ämnen har svagt stöd men att det generellt sett verkar vara ett bra arbetssätt. Alternativt att ”upptäckande undervisning” inte verkade fungera förr men att senare tids forskning ger en mycket mer positiv bild.

Mitt andra exempel rör problembaserat lärande. Här redovisar Hattie sju metaanalyser som sammantaget ger svagt stöd för problembaserat lärande. De flesta av dessa är metaanalyser av studier av problembaserat lärande på högskolenivå. En metaanalys av problembaserat lärande i matematik (algebra) på motsvarande högstadiet/gymnasiet visar dock på goda effekter. Om man går på det genomsnittliga värde som Hattie redovisar riskerar man alltså att hamna i fullständigt felaktiga slutsatser och missar att problembaserat lärande kan vara effektivt i rätt sammanhang.

Hatties stora felsteg är att han redovisar summerande mått över metaanalyser utan att ta hänsyn till så kallade modererande faktorer. Arbetssätt kan fungera bättre för ett visst ämne, en viss årskurs, vissa elever och så vidare. Hattie menar att betydelsen av sådana modererande faktorer är mindre än man kan tro. Jag skulle påstå att de ofta är väldigt påtagliga, som i de exempel jag redovisat. Om man inte tar hänsyn till sådana modererande faktorer kommer man att göra direkt felaktiga generaliseringar.

Man måste alltså vid läsningen av Synligt lärande förstå att Hatties undervisningsmodell inte bygger på forskning som handlar om hur skola och lärare ska kunna nå det uppdrag man faktiskt har. Vidare måste man vara medveten om att han med sina summerande mått utelämnar information som är helt avgörande. Jag är positiv till vissa delar av Hatties projekt, men skulle också kunna fördjupa och bredda kritiken om utrymme fanns.

När jag läser Hattie känner jag mig lite som en byggnadsinspektör. Ja, bra idé att bygga detta hus. Och en kul idé att bygga just ett sådant hus. Men herregud, det har slarvats vid bygget. Vi måste plocka ner det och syna delarna för de har satts ihop felaktigt.

Tyvärr är det min erfarenhet att sammanställningar av forskning för att den ska kunna nyttiggöras i skolan ofta är mer förvirrande än upplysande. Vanligt är att man drar för långt- gående (och ibland felaktiga) slutsatser av forskningen samt att man undervärderar svårigheten i att överföra forskningsresultat till undervisningspraktiken. Vem har ett ansvar för konsekvenserna av det?

Claes Nilholm är professor i pedagogik med inriktning mot specialpedagogik. Han är verksam vid Malmö högskola.

Fler artiklar om

Bloggat om denna artikel Twingly

Skriv en kommentar

För att kommentera Lärarnas Nyheters artiklar kan du antingen logga in med ditt konto hos t ex Facebook eller Google (klicka på en av symbolerna här under) eller skapa en enkel inloggning där du anger namn och e-postadress. Klicka på Skapa nytt konto nedan, eller använd inloggningsformuläret om du redan har ett konto.
Om Hatties Synligt lärande

Det är väl alltid dags att kritiskt granska hypoteser, metoder och resultat från alla forskare. Det är ju just det som är syftet med publicerandet som en del av kvalitetssäkringen.
När det gäller John Hattie, har han ju lyckats få mycket stor uppmärksamhet genom sin ganska unika mycket omfattande meta-analys av publicerad skolforskning, med statistiska samband, korrelationer, mellan å ena sidan elevers framsteg/resultat och å andra sidan olika faktorer, som skulle kunna ha haft påverkan på dessa framsteg/resultat. Självklart måste han göra mycket drastiska förenklingar, när han kort försöker beskriva allt detta i en enkel rangordning av ett antal valda kategoriseringar av alla dessa faktorer.
Det Hattie gör med utnyttjande av all den uppmärksamhet hans tabeller med "effektstorlek" fått, är att utgående från sin samlade kunskap och erfarenhet ge konkreta förslag på vad som, enligt hans mening, är viktigt att tänka på för den enskilde läraren eller arbetslaget vid kontakten med eleverna i klassrummet. Det presenterar han översiktligt i boken "Synligt lärande för lärare" och mer detaljerat i sitt material "Visible Learning plus". För dessa konkreta handgripliga förslag har han fått ett ganska brett stöd, även från dem som ifrågasatt en del av hans forskningsmetoder och -resultat. Han argumenterar starkt för ökad öppenhet i arbetslagen, att där lära av varandra, att ha tillit och våga ifrågasätta och göra fel. När det gäller kontakt med eleverna: att fokusera på de individuella framstegen genom att utgå från var var och en befinner sig, vilka utmanande etappmål man skall skall försöka nå, hur man skall nå dit, och hur man skall veta att man gjort det.
Detta innebär ofta en förändring av grundläggande och invanda sätt att tänka och agera, att se på sin egen roll och sin samverkan med andra. Sedan några år försöker jag samla och förmedla erfarenheter och material med anknytning till sådant förändringsarbete på den webb-plats. Det började med att göra ca 35 timmar föreläsningsmaterial fritt tillgängligt från vår "Tänkarkonferens", "The International Conference of Thinking" i Norrköping 2007, och nu kompletterar jag väldigt gärna med berättelser om förändringsprojekt i Sverige baserade på "Visible Learning plus" och liknande ansatser. Webbadressen till just denna del är:
http://SynligtLärande.se (med synliga prickar i ä-et) och där finner hittar man också materialet i övrigt.
Välkommen också till den öppna Facebook-gruppen:
Tänkarnätverket - Thinking Schools Network:
https://www.facebook.com/groups/1393090720954768/

Äntligen!

Jag har länge eftersökt en kritisk granskning av Hatties undersökning. Dels utifrån det son du beskriver Claes men också utifrån underlaget. Jag anser att man kan inte dra så stora slutsatser som Hattie gör med att sammanställa olika länder i en och samma undersökning och sedan dra slutsatser.
Varje land arbetar på olika sätt. Vissa länder är detaljstyrda ända in i klassrummet, där de ska följa manualer hur undervisningen ska gå till. Planeringen är förbestämd och läraren följer detta. I Sverige, som inte ens fanns med i undersökningen, har ju läraren utrymmet att tolka och omsätta läroplanen till praktik. Vilket innebär att det är en väsentlig skillnad, diskrepans, i undervisningen. Detta är ett av otaliga exempel som jag anser att man ska kritiskt granska.

Det är mycket välkommet med en kritisk granskning. Men var det inte så att Hatties undersökning kom i "rättan tid" för att stärka Björklunds negativa syn på skolan?

Annan kritik av Hattie

En artikel rörande Hatties forskning och ev svagheter i denna finns skriven av Snook, et al. (2009). Dessvärre är den svår att få tag på utanför biblioteken, men en internetartikel tar upp några av huvudpunkterna i Snook et al:s kritik här:

http://www.ppta.org.nz/index.php/resources/pptanews/305-ppta-newsapr09-h...

Kritik af brug af gennemsnit

Tak Claes for din diskussion,

Jeg mener, at Hattie rammer rigtigt, når han sætter fokus på, at man kan vurdere undervisningseffekt på forskellige måder. Han er meget nuanceret i sin bog, når han påpeger, at der er mange kontekstuelle forhold, man bliver nødt til at tage med i betragtning.
Men dels bliver han brugt af mange i et politisk sigte, hvor han tages til indtægt for mange forsimplede konklusioner. I Danmark har vi en undervisningsminister, som ganske enkelt ikke er i stand til at læse, hvad Hattie rent faktisk siger, selvom hun hævder, at hun finder støtte hos Hattie. (Det modsiger han så selv). Dels er han selv til tider al for unøjagtig i sine egne konklusioner. Man kan ikke bruge gennemsnitsbetragtninger til at sige noget om effekt, hvis der er forskel på det, man tager gennemsnit af. Dine eksempler er rigtig gode til at fremhæve dette (statiske) problem.
Hele problemet om, hvordan man fortolker på de resultater statiske analyser giver er et område for sig. Og her er der brug for, at man skal have flere kilder - fremskaffet på forskellige metoder - hvis man vil have bare lidt udsigelseskraft.

Jeg håber, dine problematiseringer bliver hørt i bredere kredse, da det er lidt irriterende, at han citeres som om, det er visdom fra et højere sted.

Ove

Annons

Fler nyheter