Page 161 - Ana Mlekuž in Igor Ž. Žagar, ur. • Raziskovanje v vzgoji in izobraževanju: Digitalizacija vzgoje in izobraževanja – priložnosti in pasti. Ljubljana: Pedagoški inštitut, 2023. Digitalna knjižnica, Dissertationes 46
P. 161
gotavljanje k akovosti pr i vr ednotenju pr eizkusov nacionalnega pr everjanja znanja
4.3 Primerjava skupin kontrolnega vrednotenja
Primerjava združenih skupin kontrolnega vrednotenja podobno ponuja
pričakovane rezultate. Najvišja odstopanja ocenjevalcev v večini primerov
zasledimo v skupini 3 – torej v skupini ocenjevalcev, ki je najbolj odstopa-
la pri vrednotenju kontrolnih preizkusov. Najnižja odstopanja pa poveči-
ni zasledimo v skupini 1 – torej skupini, ki je pri vrednotenju kontrolnih
preizkusov odstopala najmanj. Razlike med skupinami pri treh predmetih
dosegajo prag statistične značilnosti. Pri matematiki v 6. razredu in špor-
tu smo značilne razlike med skupinami kontrolnega vrednotenja zabeležili
pri obeh indeksih odstopanj, pri zgodovini pa zgolj v povprečnih skupnih
odstopanjih. Pri slednjih predmetih velja, da ocenjevalci, ki pri vrednotenju
kontrolnih preizkusov bolj odstopajo – oziroma so manj natančni, načelo-
ma bolj odstopajo tudi pri vrednotenju preostalih preizkusov. Na podla-
gi opisanih izsledkov lahko sklepamo, da je mehanizem kontrolnega vred-
notenja uporaben za identifikacijo manj natančnih ocenjevalcev. To nam
posledično omogoča, da lahko te ocenjevalce podrobneje spremljamo in
jih usmerjamo z nasveti tudi med samim vrednotenjem (delo pomočnikov
glavnih ocenjevalcev). Rezultati torej govorijo v prid veljavnosti kontrolne-
ga mehanizma kontrolnega vrednotenja. Aplikativna vrednost navedenih
spoznanj pa je, da mehanizem ostane del sistema vrednotenja preizkusov
NPZ tudi v prihodnje.
4.4 Sinteza spoznanj
Z izvedeno raziskavo smo na obširnem vzorcu ocenjevalcev več predmetov
NPZ izkazali veljavnost postopkov standardizacije in kontrolnega vred-
notenja za njihovo ločevanje glede na kakovost vrednotenja. Rezultati na-
mreč kažejo, da lahko z obema metodama identificiramo ocenjevalce, ki
pri vrednotenju preizkusov bolj odstopajo. Obe metodi se zdita približno
enako učinkoviti, navkljub temu pa ne smemo trditi, da bi bila ena med nji-
mi odvečna. Pri nekaterih predmetih (matematika v 9. razredu in biologi-
ja) se namreč izkazuje, da standardizacija uspešneje loči ocenjevalce glede
na kakovost njihovega vrednotenja. Pri drugih predmetih (matematika v 6.
razredu in zgodovina) pa ocenjevalce glede na kakovost vrednotenja uspeš
neje loči kontrolno vrednotenje. Rezultati prav tako kažejo, da odstopanja
ocenjevalcev pri standardizaciji z odstopanji pri kontrolnem vrednotenju
korelirajo šibko do zmerno, kar govori o diskriminativni veljavnosti obeh
kontrolnih mehanizmov. Treba je opozoriti, da rezultati niso povsem eno-
značni – značilnih razlik med skupinami standardizacije oz. kontrolnega
161
4.3 Primerjava skupin kontrolnega vrednotenja
Primerjava združenih skupin kontrolnega vrednotenja podobno ponuja
pričakovane rezultate. Najvišja odstopanja ocenjevalcev v večini primerov
zasledimo v skupini 3 – torej v skupini ocenjevalcev, ki je najbolj odstopa-
la pri vrednotenju kontrolnih preizkusov. Najnižja odstopanja pa poveči-
ni zasledimo v skupini 1 – torej skupini, ki je pri vrednotenju kontrolnih
preizkusov odstopala najmanj. Razlike med skupinami pri treh predmetih
dosegajo prag statistične značilnosti. Pri matematiki v 6. razredu in špor-
tu smo značilne razlike med skupinami kontrolnega vrednotenja zabeležili
pri obeh indeksih odstopanj, pri zgodovini pa zgolj v povprečnih skupnih
odstopanjih. Pri slednjih predmetih velja, da ocenjevalci, ki pri vrednotenju
kontrolnih preizkusov bolj odstopajo – oziroma so manj natančni, načelo-
ma bolj odstopajo tudi pri vrednotenju preostalih preizkusov. Na podla-
gi opisanih izsledkov lahko sklepamo, da je mehanizem kontrolnega vred-
notenja uporaben za identifikacijo manj natančnih ocenjevalcev. To nam
posledično omogoča, da lahko te ocenjevalce podrobneje spremljamo in
jih usmerjamo z nasveti tudi med samim vrednotenjem (delo pomočnikov
glavnih ocenjevalcev). Rezultati torej govorijo v prid veljavnosti kontrolne-
ga mehanizma kontrolnega vrednotenja. Aplikativna vrednost navedenih
spoznanj pa je, da mehanizem ostane del sistema vrednotenja preizkusov
NPZ tudi v prihodnje.
4.4 Sinteza spoznanj
Z izvedeno raziskavo smo na obširnem vzorcu ocenjevalcev več predmetov
NPZ izkazali veljavnost postopkov standardizacije in kontrolnega vred-
notenja za njihovo ločevanje glede na kakovost vrednotenja. Rezultati na-
mreč kažejo, da lahko z obema metodama identificiramo ocenjevalce, ki
pri vrednotenju preizkusov bolj odstopajo. Obe metodi se zdita približno
enako učinkoviti, navkljub temu pa ne smemo trditi, da bi bila ena med nji-
mi odvečna. Pri nekaterih predmetih (matematika v 9. razredu in biologi-
ja) se namreč izkazuje, da standardizacija uspešneje loči ocenjevalce glede
na kakovost njihovega vrednotenja. Pri drugih predmetih (matematika v 6.
razredu in zgodovina) pa ocenjevalce glede na kakovost vrednotenja uspeš
neje loči kontrolno vrednotenje. Rezultati prav tako kažejo, da odstopanja
ocenjevalcev pri standardizaciji z odstopanji pri kontrolnem vrednotenju
korelirajo šibko do zmerno, kar govori o diskriminativni veljavnosti obeh
kontrolnih mehanizmov. Treba je opozoriti, da rezultati niso povsem eno-
značni – značilnih razlik med skupinami standardizacije oz. kontrolnega
161
