ER NVOLS VURDERING AF EFFEKTER NØGTERN?

I artiklen præsenterer NVOL først nogle relativt få oplysninger om VIVE-rapporten (herefter Beuchert et al) og en anden effektundersøgelse (Juul et al) i to tabeller. Derefter sætter NVOL sine egne ord på effekterne i de to undersøgelser. Selvom den eneste begrundelse, NVOL giver for sine egne vurderinger, lyder ”Som det fremgår af tabel 1 og 2”, har vi ikke kunnet finde sammenhæng mellem tabellerne og vurderingerne (og de to omtalte undersøgelser):

• Effektstørrelser
  Forfatterne omtaler effekterne påvist i Beuchert et al som "små til moderate", selvom rapportens forfattere omtaler effekterne på stavning som "store" og på læsning som "mellemstore" (p. 116), og de begrunder ikke denne noget anderledes vurdering, heller ikke når direkte adspurgt.
  
• Sammenlignelighed
  Videre vurderer forfatterne effekterne på (læsning og) stavning i de to undersøgelser som "nogenlunde lige store", selvom de selv oplyser, at den er .67 i Beuchert et al og enten .41 eller .24 for Juul et al. Heller ikke denne vurdering begrundes i artiklen eller når adspurgt.
  
• Frasortering
  Med formuleringen "efter frasortering af kontrolgruppeelever, der går tilbage fra før- til eftertest, falder effektstørrelsen" trækker forfatterne en væsentlig del af de påviste effekter i Beuchert et al på både læsning og stavning ud. Det gør de uden begrundelse, selvom Beuchert et al ikke frasorterer denne gruppe elever, men blot i en ud af flere robusthedsanalyser i et bilag undersøger hvad effekten ville være af at gøre det - og i øvrigt konkluderer, at selv hvis man gjorde, ville effekterne stadig være ”mellemstore til store” (p. 154). Det fremgår ikke, hvad resultatet af en eventuel tilsvarende analyse foretaget i Juul et al viste, og hvad det kan have af betydning for forfatternes vurdering af, at effekterne er "nogenlunde lige store".
  Da artiklen selv nævner det som et kendt problem, at elever med skriftsprogsvanskeligheder sakker stadig længere bagud, ville det i øvrigt have været oplagt at komme ind på dét som mulig forklaring på, at ca. hver fjerde kontrolgruppeelev i Beuchert et al får flere fejl i efter- end i førtest. Dette er måske netop et vigtigt spørgsmål, som Beuchert et al giver anledning til at stille: Er det sådan, at en betydelig del af de ”gule” og ”røde” elever faktisk opnår så lille progression i læsning og stavning uden hjælpemidler gennem skolernes almindelige praksis, at det er tilfældigheder, der afgør, om de får en fejl mere eller mindre efter et halvt skoleår?

Ingen af de tre nævnte vurderinger synes retvisende eller loyale over for kilderne. Sammenligningen med effekterne påvist i Juul et al er dog vanskelig at forholde sig konkret til, da undersøgelsen endnu ikke er offentligt tilgængelig, og det er meget sparsomt, hvad forfatterne har valgt at oplyse om metode og påviste effekter i den. Forfatterne har ganske vist henvist til en konferenceposter, men det link, de har indsat, fører ikke til posteren. I Læs&Stav har vi selv fundet en poster med lignende titel, men forfatterne har ikke ønsket at svare på, om det er den rigtige.

Den bias, som vi finder i de nævnte vurderinger af effekterne, forstærkes af en række redaktionelle fravalg:

1. Det omtales slet ikke, at eleverne i Beuchert et al fastholdt deres nye færdigheder efter et halvt år. Os bekendt er det første gang, at noget sådant er påvist for intensive forløb af kortere varighed på ordblindeområdet i Danmark.
2. Mens eleverne i Beuchert et al fik signifikant effekt på både læsning og stavning, fik eleverne i Juul et al kun effekt på enten stavning eller læsning. Dette fremgår ganske vist i de tabeller, der beskriver hver af undersøgelserne, men ville have været relevant at omtale i forfatternes egen vurdering af ”nogenlunde lige store” effekter.
   
3. Mens gruppen af elever i Beuchert et al var meget uensartet og gennemsnitligt stærkt udfordret, og fik meget varierende undervisningstid, var gruppen i Juul et al meget homogen og kun lettere udfordret, og alle fik samme mængde undervisning. Også dette ville have været relevant at tage højde for i forfatternes vurdering af ”nogenlunde lige store” effekter, da stærkt udfordrede elever ikke kan forventes at gå lige så meget frem som mindre udfordrede elever (Daugaard&Elbro 2021, p. 16), og da vi formoder, at det er væsentligt nemmere at påvise effekter i undervisningsforløb tilrettelagt for homogene grupper, der får samme undervisningsforløb, end for heterogene grupper, hvis undervisning varierer efter skolens, hjemmets og elevens muligheder for og evne til at skabe tid og rammer for den.
   
4. Hvis vi har forstået det rigtigt, fandt Juul et al kun signifikans for to konkrete undervisningsforløb (den ene heraf på .05-niveau) ud af en række. I givet fald forekommer det, at forfatterne sammenligner best case i Juul et al med gennemsnittet i Beuchert et al. Umiddelbart synes det mere oplagt at sammenligne best case med best case frem for med gennemsnit, eller som minimum at begrunde, hvorfor dette er fravalgt. Eleverne på de skoler i Beuchert et al, der fulgte Læs&Stavs anbefaling om at afsætte elevtid til selvstændig træning i skoletiden, fik således fremgang i stavning på 0,796*** og på læsning på 0,405*** (p. 33), hvilket var væsentligt højere end gennemsnittet i Beuchert et al og næsten dobbelt så højt som i Juul et al.

Det står naturligvis forfatterne frit for at vælge hvor mange og hvilke oplysninger og forbehold, de vil knytte til deres vurderinger af (de relative) effekter i de to undersøgelser. Men kombinationen af, at forfatterne

• foretager vurderinger og en sammenligning af effekterne, der forekommer tvivlsomme og biased
  
• ikke begrunder disse ud over med ”Som det fremgår af Tabel 1 og 2”, heller ikke når direkte adspurgt
  
• udgiver artiklen inden den ene af de to undersøgelser er offentligt tilgængelig, ikke indsætter korrekt link og ikke besvarer et konkret spørgsmål til dem, om et andet link er det rigtige
• ikke omtaler væsentlige forskelligheder mellem de påviste effekter i de to undersøgelser og ej heller væsentlige forskelligheder mellem de to undersøgelsers metoder og undersøgte indsatser, der må antages at have stor betydning for vurderingen af effekterne,

giver os indtryk af, at artiklens kvalitet ikke er god. Især fordi alle punkterne forekommer at ”vende samme vej”: At nedtone væsentligheden af findings i Beuchert et al, både absolut og relativt.

Læs videre:

ER NVOLS...

• ... kildehenvisninger præcise og loyale?
  
• ... opfattelse af, hvad der (ikke) er nyhedsværdi inden for dysleksiområdet, velbegrundet?
  
• ... håndtering af henvendelser fra eksterne interessenter udtryk for god praksis?
  
• ... politik for omtale af kommercielle produkter klar og konsistent?