Page 155 - Ana Mlekuž in Igor Ž. Žagar, ur. • Raziskovanje v vzgoji in izobraževanju: Digitalizacija vzgoje in izobraževanja – priložnosti in pasti. Ljubljana: Pedagoški inštitut, 2023. Digitalna knjižnica, Dissertationes 46
P. 155
gotavljanje k akovosti pr i vr ednotenju pr eizkusov nacionalnega pr everjanja znanja
ciji oz. kontrolnem vrednotenju premajhna ali pa v posamezni kombinaci-
ji skupin ni bilo dovolj ocenjevalcev, smo le-te razdelili le v dve skupini. Za
vsakega med ocenjevalci smo izbrali vzorec preizkusov (približno devet),
ki so jih člani predmetnih komisij ponovno ovrednotili (nalogam so dode-
lili referenčne točke). To nam je omogočilo izračun odstopanj med vred-
notenji ocenjevalcev in referenčnim vrednotenjem. Pri tem smo izračuna-
li dva poglavitna indeksa odstopanj ocenjevalcev: povprečno kumulativno
odstopanje in povprečno skupno odstopanje. Prvo se nanaša na vsoto vseh
absolutnih odstopanj ocenjevalčevih točk od referenčnih po nalogah. Dru-
go pa zajema zgolj absolutne razlike končnih dosežkov na preizkusih. Izra-
čunali smo povprečne vrednosti obeh indeksov za vse kombinacije skupin,
nato pa še za združene skupine standardizacije in kontrolnega vrednotenja.
2.2 Zajeti ocenjevalci in preizkusi
Ponovno je bilo ovrednotenih 2.616 preizkusov 312 ocenjevalcev pri petih
predmetih NPZ (šolsko leto 2020/21). To zajema 729 preizkusov 81 ocenje-
valcev pri matematiki v 9. razredu, 810 preizkusov 90 ocenjevalcev pri ma-
tematiki v 6. razredu, 396 preizkusov 44 ocenjevalcev pri zgodovini, 310
preizkusov 54 ocenjevalcev pri športu in 371 preizkusov 43 ocenjevalcev pri
biologiji. V ponovno vrednotenje je bilo vključenih 22 posameznikov (čla-
nov predmetih komisij). Ponovno vrednotenje preizkusov je potekalo od
septembra do oktobra leta 2021.
2.3 Statistične analize
Analize smo opravili s programom R-studio (verzija 1.3.1093). Izračunali
smo deskriptivne statistike indeksov odstopanj za vse skupine. Statistično
značilnost razlik med skupinami smo preverili z enosmerno ANOVO, raz-
like med pari skupin pa s Tukeyevimi post-hoc-testi. V kolikor smo ocenje-
valce razdelili zgolj v dve skupini, smo uporabili t-test za neodvisne vzorce.
Povezave med odstopanji ocenjevalcev pri standardizaciji in kontrolnem
vrednotenju smo izračunali s Pearsonovimi koeficienti korelacije.
3. Rezultati
3.1 Primerjava odstopanj vseh skupin
Tabela 13 prikazuje rezultate enosmernih ANOV pri primerjavi odstopanj
kombinacij vseh skupin standardizacije in kontrolnega vrednotenja. Iz ta-
bele lahko razberemo, da statistično značilne razlike med skupinami bele-
155
ciji oz. kontrolnem vrednotenju premajhna ali pa v posamezni kombinaci-
ji skupin ni bilo dovolj ocenjevalcev, smo le-te razdelili le v dve skupini. Za
vsakega med ocenjevalci smo izbrali vzorec preizkusov (približno devet),
ki so jih člani predmetnih komisij ponovno ovrednotili (nalogam so dode-
lili referenčne točke). To nam je omogočilo izračun odstopanj med vred-
notenji ocenjevalcev in referenčnim vrednotenjem. Pri tem smo izračuna-
li dva poglavitna indeksa odstopanj ocenjevalcev: povprečno kumulativno
odstopanje in povprečno skupno odstopanje. Prvo se nanaša na vsoto vseh
absolutnih odstopanj ocenjevalčevih točk od referenčnih po nalogah. Dru-
go pa zajema zgolj absolutne razlike končnih dosežkov na preizkusih. Izra-
čunali smo povprečne vrednosti obeh indeksov za vse kombinacije skupin,
nato pa še za združene skupine standardizacije in kontrolnega vrednotenja.
2.2 Zajeti ocenjevalci in preizkusi
Ponovno je bilo ovrednotenih 2.616 preizkusov 312 ocenjevalcev pri petih
predmetih NPZ (šolsko leto 2020/21). To zajema 729 preizkusov 81 ocenje-
valcev pri matematiki v 9. razredu, 810 preizkusov 90 ocenjevalcev pri ma-
tematiki v 6. razredu, 396 preizkusov 44 ocenjevalcev pri zgodovini, 310
preizkusov 54 ocenjevalcev pri športu in 371 preizkusov 43 ocenjevalcev pri
biologiji. V ponovno vrednotenje je bilo vključenih 22 posameznikov (čla-
nov predmetih komisij). Ponovno vrednotenje preizkusov je potekalo od
septembra do oktobra leta 2021.
2.3 Statistične analize
Analize smo opravili s programom R-studio (verzija 1.3.1093). Izračunali
smo deskriptivne statistike indeksov odstopanj za vse skupine. Statistično
značilnost razlik med skupinami smo preverili z enosmerno ANOVO, raz-
like med pari skupin pa s Tukeyevimi post-hoc-testi. V kolikor smo ocenje-
valce razdelili zgolj v dve skupini, smo uporabili t-test za neodvisne vzorce.
Povezave med odstopanji ocenjevalcev pri standardizaciji in kontrolnem
vrednotenju smo izračunali s Pearsonovimi koeficienti korelacije.
3. Rezultati
3.1 Primerjava odstopanj vseh skupin
Tabela 13 prikazuje rezultate enosmernih ANOV pri primerjavi odstopanj
kombinacij vseh skupin standardizacije in kontrolnega vrednotenja. Iz ta-
bele lahko razberemo, da statistično značilne razlike med skupinami bele-
155
