Page 252 - Ana Mlekuž in Igor Ž. Žagar, ur. • Raziskovanje v vzgoji in izobraževanju: Digitalizacija vzgoje in izobraževanja – priložnosti in pasti. Ljubljana: Pedagoški inštitut, 2023. Digitalna knjižnica, Dissertationes 46
P. 252
r aziskovanje v vzgoji in izobr aževanju: digitalizacija vzgoje in izobr aževanja ...
Zagotavljanje kakovosti pri vrednotenju preizkusov
nacionalnega preverjanja znanja
David Janet, Gašper Cankar
V raziskavi smo preverili učinkovitost kontrolnih mehanizmov za zago
tavljanje kakovosti vrednotenja preizkusov nacionalnega preverjanja zna-
nja (NPZ). Osredotočili smo se na standardizacijo in kontrolno vrednote-
nje. Zanimala nas je predvsem veljavnost obeh mehanizmov za ločevanje
natančnih in manj natančnih ocenjevalcev. So ocenjevalci, ki se slabše od-
režejo pri standardizaciji (oz. kontrolnem vrednotenju), manj natančni tudi
pri vrednotenju dejanskih preizkusov? Za te namene smo ocenjevalce pri
različnih predmetih NPZ razdelili v skupine standardizacije in kontrolne-
ga vrednotenja glede na njihovo natančnost pri obeh kontrolnih mehaniz-
mih. Iz skupin smo izbrali naključne ocenjevalce, katerih naključno izbra-
ne preizkuse so ponovno ovrednotili referenčni ocenjevalci. Na podlagi teh
smo lahko izračunali različne indekse odstopanj pri vrednotenju. Te smo
primerjali z odstopanji pri standardizaciji in kontrolnem vrednotenju. Re-
zultati kažejo, da so ocenjevalci, ki so manj natančni pri obeh kontrolnih
mehanizmih, povečini manj natančni tudi pri vrednotenju dejanskih pre-
izkusov. Izsledki torej govorijo v prid veljavnosti standardizacije in kontro-
lnega vrednotenja. Oba mehanizma se izkazujeta za uporabna oz. koristna,
prav tako pa nista redundantna. Izpostavili smo tudi nekatere ugotovitve o
obeh indeksih odstopanj, glavne pomanjkljivosti raziskave in vodila za na-
daljnja raziskovanja.
Ključne besede: nacionalno preverjanje znanja, preizkusi, standardizacija,
kontrolno vrednotenje
Quality assurance in the assessment of national
examinations tests
David Janet, Gašper Cankar
The study mainly focuses on control mechanisms of Slovenian National
Assessment of Knowledge tests that ensure the quality of assessments.
We focused primarily on two control mechanisms – standardization and
control assessment. The study’s main research question concernsthe validity
of both mechanisms for separating accurate and less accurate assessors.
Are assessors who perform worse in standardization (or control evaluation)
also less accurate when assessing actual tests?To answer these questions,
we divided assessors into different groups of standardization and control
252
Zagotavljanje kakovosti pri vrednotenju preizkusov
nacionalnega preverjanja znanja
David Janet, Gašper Cankar
V raziskavi smo preverili učinkovitost kontrolnih mehanizmov za zago
tavljanje kakovosti vrednotenja preizkusov nacionalnega preverjanja zna-
nja (NPZ). Osredotočili smo se na standardizacijo in kontrolno vrednote-
nje. Zanimala nas je predvsem veljavnost obeh mehanizmov za ločevanje
natančnih in manj natančnih ocenjevalcev. So ocenjevalci, ki se slabše od-
režejo pri standardizaciji (oz. kontrolnem vrednotenju), manj natančni tudi
pri vrednotenju dejanskih preizkusov? Za te namene smo ocenjevalce pri
različnih predmetih NPZ razdelili v skupine standardizacije in kontrolne-
ga vrednotenja glede na njihovo natančnost pri obeh kontrolnih mehaniz-
mih. Iz skupin smo izbrali naključne ocenjevalce, katerih naključno izbra-
ne preizkuse so ponovno ovrednotili referenčni ocenjevalci. Na podlagi teh
smo lahko izračunali različne indekse odstopanj pri vrednotenju. Te smo
primerjali z odstopanji pri standardizaciji in kontrolnem vrednotenju. Re-
zultati kažejo, da so ocenjevalci, ki so manj natančni pri obeh kontrolnih
mehanizmih, povečini manj natančni tudi pri vrednotenju dejanskih pre-
izkusov. Izsledki torej govorijo v prid veljavnosti standardizacije in kontro-
lnega vrednotenja. Oba mehanizma se izkazujeta za uporabna oz. koristna,
prav tako pa nista redundantna. Izpostavili smo tudi nekatere ugotovitve o
obeh indeksih odstopanj, glavne pomanjkljivosti raziskave in vodila za na-
daljnja raziskovanja.
Ključne besede: nacionalno preverjanje znanja, preizkusi, standardizacija,
kontrolno vrednotenje
Quality assurance in the assessment of national
examinations tests
David Janet, Gašper Cankar
The study mainly focuses on control mechanisms of Slovenian National
Assessment of Knowledge tests that ensure the quality of assessments.
We focused primarily on two control mechanisms – standardization and
control assessment. The study’s main research question concernsthe validity
of both mechanisms for separating accurate and less accurate assessors.
Are assessors who perform worse in standardization (or control evaluation)
also less accurate when assessing actual tests?To answer these questions,
we divided assessors into different groups of standardization and control
252
