Page 154 - Ana Mlekuž in Igor Ž. Žagar, ur. • Raziskovanje v vzgoji in izobraževanju: Digitalizacija vzgoje in izobraževanja – priložnosti in pasti. Ljubljana: Pedagoški inštitut, 2023. Digitalna knjižnica, Dissertationes 46
P. 154
r aziskovanje v vzgoji in izobr aževanju: digitalizacija vzgoje in izobr aževanja ...
so pri vrednotenju dejanskih preizkusov najmanj natančni. Če temu ne bi
bilo tako, lahko pod vprašaj postavimo smiselnost oz. veljavnost obstoje-
čih kontrolnih mehanizmov zagotavljanja kakovosti vrednotenja preizku-
sov. Morebiti bi bilo treba te temeljito spremeniti ali zgolj blago modificirati
(npr. zmanjšati ali povečati število standardizacijskih oz. kontrolnih preiz-
kusov). Treba je tudi ugotoviti, ali sta oba kontrolna mehanizma podobno
učinkovita, in preveriti, ali je eden od njiju morebiti odveč.
1.3 Namen raziskave
V pričujoči raziskavi smo želeli nasloviti zgoraj izpostavljena vprašanja.
Preverili smo ustreznost oz. veljavnost kontrolnih mehanizmov za zago
tavljanje kakovosti vrednotenja preizkusov NPZ. Pri tem smo se osredoto-
čili predvsem na standardizacijo in kontrolno vrednotenje. Za zagotavlja-
nje reprezentativnosti in posplošljivosti ugotovitev smo raziskavo izvedli
pri več predmetih NPZ. Temeljni namen raziskave je bil na naključnem
vzorcu ocenjevalcev izračunati odstopanja pri vrednotenju preizkusov
NPZ in jih primerjati z njihovimi odstopanji pri standardizaciji ter kon-
trolnem vrednotenju. Na podlagi rezultatov smo želeli potrditi veljavnost
in zadostnost dosedanjih kontrolnih mehanizmov zagotavljanja kakovosti
vrednotenja preizkusov NPZ ali pa ponuditi aplikativne smernice za izbolj-
šavo samega postopka. Prav tako smo preverili, ali sta oba mehanizma po-
dobno učinkovita pri ločevanju natančnih in manj natančnih ocenjevalcev,
ter naslovili s tem povezano vprašanje, ali sta za kakovostno vrednotenja
potrebna tako standardizacija kot tudi kontrolno vrednotenje.
2. Metoda
2.1 Postopek
Veljavnost kontrolnih mehanizmov pri vrednotenju preizkusov NPZ smo
preverili pri štirih predmetih 9. razreda – matematiki, zgodovini, športu in
biologiji – ter pri enem predmetu 6. razreda – matematiki. Pri vsakem od
naštetih predmetov smo izračunali povprečna odstopanja vseh ocenjeval-
cev pri standardizaciji in kontrolnem vrednotenju. Na podlagi teh smo jih
razdelili v pet skupin pri obeh kontrolnih mehanizmih. V nadaljnje ana-
lize smo vključili le ocenjevalce iz skupin najvišjih, srednjih in najnižjih
odstopanj. Iz vsake možne kombinacije skupin – 3 skupine standardizacije
× 3 skupine kontrolnega vrednotenja – smo naključno izbrali osem do de-
vet ocenjevalcev. V kolikor je bila variabilnost odstopanj pri standardiza-
154
so pri vrednotenju dejanskih preizkusov najmanj natančni. Če temu ne bi
bilo tako, lahko pod vprašaj postavimo smiselnost oz. veljavnost obstoje-
čih kontrolnih mehanizmov zagotavljanja kakovosti vrednotenja preizku-
sov. Morebiti bi bilo treba te temeljito spremeniti ali zgolj blago modificirati
(npr. zmanjšati ali povečati število standardizacijskih oz. kontrolnih preiz-
kusov). Treba je tudi ugotoviti, ali sta oba kontrolna mehanizma podobno
učinkovita, in preveriti, ali je eden od njiju morebiti odveč.
1.3 Namen raziskave
V pričujoči raziskavi smo želeli nasloviti zgoraj izpostavljena vprašanja.
Preverili smo ustreznost oz. veljavnost kontrolnih mehanizmov za zago
tavljanje kakovosti vrednotenja preizkusov NPZ. Pri tem smo se osredoto-
čili predvsem na standardizacijo in kontrolno vrednotenje. Za zagotavlja-
nje reprezentativnosti in posplošljivosti ugotovitev smo raziskavo izvedli
pri več predmetih NPZ. Temeljni namen raziskave je bil na naključnem
vzorcu ocenjevalcev izračunati odstopanja pri vrednotenju preizkusov
NPZ in jih primerjati z njihovimi odstopanji pri standardizaciji ter kon-
trolnem vrednotenju. Na podlagi rezultatov smo želeli potrditi veljavnost
in zadostnost dosedanjih kontrolnih mehanizmov zagotavljanja kakovosti
vrednotenja preizkusov NPZ ali pa ponuditi aplikativne smernice za izbolj-
šavo samega postopka. Prav tako smo preverili, ali sta oba mehanizma po-
dobno učinkovita pri ločevanju natančnih in manj natančnih ocenjevalcev,
ter naslovili s tem povezano vprašanje, ali sta za kakovostno vrednotenja
potrebna tako standardizacija kot tudi kontrolno vrednotenje.
2. Metoda
2.1 Postopek
Veljavnost kontrolnih mehanizmov pri vrednotenju preizkusov NPZ smo
preverili pri štirih predmetih 9. razreda – matematiki, zgodovini, športu in
biologiji – ter pri enem predmetu 6. razreda – matematiki. Pri vsakem od
naštetih predmetov smo izračunali povprečna odstopanja vseh ocenjeval-
cev pri standardizaciji in kontrolnem vrednotenju. Na podlagi teh smo jih
razdelili v pet skupin pri obeh kontrolnih mehanizmih. V nadaljnje ana-
lize smo vključili le ocenjevalce iz skupin najvišjih, srednjih in najnižjih
odstopanj. Iz vsake možne kombinacije skupin – 3 skupine standardizacije
× 3 skupine kontrolnega vrednotenja – smo naključno izbrali osem do de-
vet ocenjevalcev. V kolikor je bila variabilnost odstopanj pri standardiza-
154
