PEDAGOŠKI INŠTITUTPredstavitev raziskave na tiskovni konferenci je bila informativna z vsebinskega vidika, vendar metodološko pomanjkljiva. Avtorji so pokazali e-prosojnice in hkrati objavili e-poročilo. Po prvem pregledu obojega ocenjujemo, da je bila predstavitev nepopolna, izsledki pa kažejo, da niso reprezentativni za slovenski prostor. To so opazili tudi predstavniki medijev, ki so kasneje objavili tudi nekatera mnenja znanstvenikov, ki sklepajo o vzorcu in o tem, da je večina odgovarjajočih tistih, ki so bili motivirani sami po sebi, brez ustrezne statistične podlage. Vendar, dokler ZRSŠ ne pojasni metodologije in vseh podatkov o vzorcu in prikaže analize neodgovora, ne moremo z gotovostjo zaključiti, da vzorec ni reprezentativen. Že sedaj pa lahko ugotovimo, da predstavitev za medije zavaja javnost, ker prikazuje podatke, za katere ne vemo, katere skupine so jih sporočile, kot nacionalne statistike.
V nadaljevanju pregleda se omejujemo na tri vidike: na vzorec sodelujočih, na zbiranje in analizo podatkov ter na vsebino raziskave.
Vzorec:
Na tiskovni konferenci so bila navedena relativno visoka števila sodelujočih oseb, vendar prisotna javnost ni dobila podatkov o načinu zbiranja oseb za raziskavo, ne o zbiranju podatkov, ne o izračunih in, najpomembneje, tudi ne o omejitvah sklepanja iz izsledkov na nacionalno raven. Nekaj od teh informacij ponuja e-poročilo. Tam izvemo nekatera dejstva, ki pa še ne odpravijo raziskovalnih dvomov v zanesljivost merjenja in veljavnost sklepov, kakor tudi, da bo oktobra poročilo dopolnjeno.
Za sedaj v e-knjigi lahko preberemo, da so bile k sodelovanju naprošene vse šole, vsi učitelji in vsi učenci. Če je končni odziv 7382 učiteljev (20% do 30% vseh), 24684 učencev in dijakov (10% do 13% vseh) ter 406 ravnateljev, so to precej majhni deleži populacij zgornjih oseb in ne vzbujajo zaupanja v reprezentativnost. Z njimi niso prikazani deleži po standardnih demografskih značilnostih, kot je spol, starost, regijska pripadnost, pogrešamo pa tudi predmetna področja poučevanja za učitelje. Izjema so ravnatelji OŠ, ki jih je med odzivnimi okoli 300, pri čemer je vseh OŠ v Sloveniji nekaj več kot 400.
Podatki v predstavitvi so zavajali tudi o stopnjah in vrsti zajete šolske ravni. Poročali so o sodelovanju ravni razrednega pouka (RP – razredni pouk), v e-publikaciji pa izvemo naknadno, da so v študijo vključili le drugo triado, to je 4.- 6.razred OŠ, kar je polovica ravni razrednega pouka. Obenem 6.razred v marsikateri šoli poučujejo že predmetni učitelji in ne spada v celoti v razredno raven. Srednješolski podatki ne ločijo med gimnazijami in strokovnimi ali poklicnimi programi, kar bi bilo po našem mnenju nujno za razumevanje stanja, zaradi temeljnih razlik v organizaciji pouka in vrsti predmetov, ki zahtevajo praktično delo dijakov.
Do sedaj ni videti, da bi bila opravljena ali napovedana analiza neodgovora, ali da bi avtorji kako drugače sledili, katere osebe se niso odzvale. Zato je verjetno, da so bile odzivne le določene skupine in posledično rezultati lahko niso reprezentativni.
Dvom v reprezentativnost dodatno zbuja na tiskovni predstavitvi izpostavljeni podatek o tem, da je manj kot 10 % učencev poročalo o pomanjkanju IKT naprav za učenje od doma. Ni razvidno, ali so učenci, ki naprav niso imeli takrat in jih morda še vedno nimajo, vključeni v raziskavo ali ne. Ni pojasnjeno, ali so lahko sodelovali v študiji in poročali o svojem pomanjkanju. Analiza neodgovora učencev bi zato morala nujno preveriti deleže neodzivnih, glede na dostopnost do spleta.
Ne vemo tudi, koliko učno uspešni učenci so prevladovali med odzivnimi. Pričakovali bi, da so se odzvali le motivirani, vendar tega ne vemo zagotovo. Mogoče je, da so se odzvali le tisti, ki jim sodelovanje ni bilo težko, ali tisti z boljšimi pogoji (tudi večjim SES), mogoče pa je tudi, da so odgovarjali na nekaterih šolah celi razredi učencev na vzpodbudo učiteljev, na drugih pa nihče. Dokler ni objavljena analiza demografskega ozadja sodelujočih, je vsako sklepanje o tem, katera skupina učencev je med odzivnimi, pomanjkljivo. Zato bi bilo nujno pri avtorjih preveriti hipoteze o pristranskosti vzorca in prositi za študijo neodgovora, preden se uporabijo izsledki za razmislek o razvoju politik in protokolov.
Zbiranje podatkov:
Opisi zbiranja podatkov so pomembni, ker predstavitev odgovorov lahko navaja bralca na sklep, da vsi rezultati veljajo za celotne nacionalne populacije. To pa ne more biti res za informacije, ki so bile pridobljene s posamičnimi intervjuji ali fokusnimi skupinami. ZRSŠ bi moral jasno označiti, kateri podatki so bili pridobljeni na vsakega od omenjenih načinov in kaj lahko iz njih sklepamo.
Iz predstavitve in e-poročila ni jasno, kateri podatki so bili zbrani v fokusnih skupinah in z intervjuji. Ne izvemo, ali so številke o sodelujočih zajele tudi sodelujoče v skupinah in intervjuvance, torej ali so v intervjujih in fokusnih skupinah sodelovali tisti, ki so že izpolnili vprašalnike, ali drugi. V publikaciji je ponekod med drugimi izsledki podatkov iz vprašalnikov navedeno, kaj so sporočile fokusne skupine, vendar ni navedeno, katera vprašanja so jim bila postavljena. Podobno manjka opis vsebine in namenov intervjujev.
Moteče in zavajajoče je, da so med tabelami z relativnimi frekvencami odgovorov (brez navedenega števila sodelujočih) navedeni odgovori iz fokusnih skupin in intervjujev. Bralec težko loči, iz katerih podatkov lahko sklepa na nacionalne statistike in kateri rezultati fokusnih skupin samo ilustrirajo prikazane izračune. V končno poročilo bo potrebno dodati pojasnilo, da ne bi iz posameznega osebenega mnenja ene osebe bralec sklepal o celotni populaciji.
O izračunih:
Na predstavitvi je na večini prikazov manjkala lestvica in legenda možnih odgovorov na vprašanja iz vprašalnikov. Tudi v publikaciji te manjkajo v več prikazih. Pogrešali smo tudi navedbe, ali so bile kategorije odgovorov disjunktne ali pa jih je sodelujoči lahko izbral več. Nepričakovano je bilo ponekod skupno število odstotkov oseb, ki so izbrale vse kategorije posameznega odgovora skupaj, mnogo večje kot 100 %. Le ugibamo lahko, da so pri teh vprašanjih respondenti lahko izbrali več odgovorov in se njihovi deleži zato ne seštejejo v celoto, četudi iz vprašanj to ni razvidno.
Tako kot v predstavitvi na konferenci, tudi v publikaciji ni jasen izračun povprečij lestvic, ki niso predstavljene. Nekatere lestvice odgovornih kategorij so bile videti, kot da tečejo od 1 do 4, nekatere od 0 do 5, ne da bi bralec lahko ugotovil, kaj meri spodnja in kaj zgornja vrednost. Ker pri nobenem prikazu ali statistiki ni bilo navedene nobene standarne napake ali intervala zaupanja, ni mogoče presojati, katere vrednosti se med seboj sploh razlikujejo (npr. ali je 4,2 res značilno različen od 3,6, karkoli že vrednosti pomenita?)
Dopolnitve izračunov z intervali zaupanja so nujne, preden začne MIZŠ sklepati iz podatkov na potrebne aktivnosti. Lahko bi se pokazalo, da se da rezultate tolmačiti drugače, kot če bi bili opremljeni z statističnimi lastnostmi, torej, da razlik ponekod ni, čeprav izgledajo relativno velike, ponekod pa razlike so značilne, čeprav so po številski vrednosti manjše od prvih. Presoja o razlikah posameznih meritev med skupinami, ki je bila prikazana na predstavitvi, ni ustrezna in zavaja.
Vsebina:
V e-poročilu izvemo nekaj strokovnega ozadja za zasnovo študije in izbor vprašanj, kljub temu pa ostaja vtis, da se je študija najbolj osredotočila na čustevno obremenitev učiteljev in učencev v času šole na daljavo in manj na v forumih in drugje že zaznane težave s poukom, kot je uporaba IKT, tehnična izvedba in ocenjevanje, pomanjkanje tekmovanj v znanju, ki je prizadelo bodoče Zoisove štipendiste, poučevanje učencev s posebnimi potrebami, tudi stanje virov za poučevanje – knjige in e-učbeniki -, izvedba praktičnih nalog za predmete, kjer je to predpisano in najbolj pomembno, na obseg poučevanih in naučenih vsebin ter njihovi povezavi z znanjem. Vse to bodo strokovnjaki morali pridobiti z dodatnim delom, da bodo lahko oblikovali vsebinske smernice za morebitno ponovno poučevanje na daljavo jeseni.
Nekatera vprašanja so bila naustrezno oblikovana. Bralec poročila bi moral biti zelo pozoren na to, da je več vprašanj postavljenih tako, da ne omogočajo relativne primerjave s poukom v šoli. Izvemo na primer, da so bili učenci obremenjeni s poukom na daljavo, vendar ne izvemo, ali so bili bolj ali manj kot so v šoli; da pogrešajo razlago, vendar ne, ali jo bolj ali manj kot v šoli?
Nekatera vprašanja so bila dvoumna in bi lahko zavajala respodente in bralce. Na primer vprašanje o načinu pouka, ki kaže, da je prevladovala kombinacija videa in navodil. Vendar ne izvemo, ali je bil video pouk reden ali občasen, ga je predpisal učitelj ali celo posnel ali samo poslal link. Drug primer je pomen termina “stik z učencem”. Ali pomeni, da sta se učitelj in učenec res videla, ali pa šteje pošiljanje mailov k učencu in od njega nazaj, morda celo za dva stika na teden, čeprav je le eden?
Pri vsebini je zato treba zelo previdno brati vprašanja skupaj z odgovornimi kategorijami in jih vsebinsko presojati ob mogočih omejitvah. Vsekakor bi bilo treba v e-poročilo dodati vprašalnik in vprašanja ter opis fokusnih skupin in intrevjujev, da bi lahko bralec bolje razumel kontekst prikazanih izsledkov.
Za konec
E-poročilo navaja, da poglavje interpretacij še manjka in bo objavljeno oktobra. Ali to pomeni, da bo poročilo dopolnjeno tudi metodološko in bodo izboljšani prikazi rezultatov in presoje o pomankljivostih, zaenkrat še ne moremo zaključiti z gotovostjo. Šele takrat bodo nekateri rezultati morda lahko postali uporabni za načrtovanje politik izobraževanj, v sedanji obliki to pač niso.
Za Pedagoški inštitut:
prof. dr. Igor Ž. Žagar, direktor
PRIJAVA