Page 219 - Mitja Sardoč, Igor Ž. Žagar in Ana Mlekuž, ur. Raziskovanje v vzgoji in izobraževanju danes. Ljubljana: Pedagoški inštitut, 2017. Digitalna knjižnica, Dissertationes 31
P. 219
povezanost dejavnikov z dosežki učencev pr i kemiji v r azisk avi timss 2011
Istočasno s preizkusi znanja na enak način, z vprašalniki, v vseh so-
delujočih državah izmerijo tudi stališča učencev, učiteljev in ravnateljev šol
do poučevanja in znanja, pa tudi druge dejavnike, ki vplivajo na pridobiva-
nje znanja (Kozina idr., 2012).
Iz rezultatov je možno sklepati o povprečni uspešnosti učencev na do-
ločenih vsebinskih in kognitivnih področjih. Potrebno je izračunati dosež-
ke učencev pri reševanju nalog. Velika količina nalog, do 200 naravoslov-
nih in 200 matematičnih, je zato razporejena v 14 različic preizkusa znanja.
Vsak učenec namreč dobi v reševanje eno različico preizkusa, ki vsebuje
del nalog iz zbirke. Vzorec učencev in matrični sistem razporejanja nalog v
različice preizkusa in med učenci zagotovi, da se v celotni državi zbere do-
volj veliko število odgovorov na posamezno nalogo ter dovolj veliko število
odgovorov na naloge od posameznega učenca, da je kasneje mogoče stati-
stično določiti tako oceno uspešnosti reševanja posamezne naloge v državi
kot oceno uspešnosti posameznega učenca na celotnem preizkusu znanja.
Do ocene matematičnega in naravoslovnega znanja populacije je nekaj
dodatnih korakov. Ko učenec za vsako nalogo dobi točke, se njegov rezul-
tat vključi med vstopne podatke izračuna modelske vrednosti dosežka. Z
metodo odgovora na postavko (IRT – Item Response Theory), ki na podla-
gi rešitev nalog pri vseh učencih nalogam dodeli težavnost, in vstavljanjem
verjetnih vrednosti (imputacij) dobi vsak učenec verjetnostno porazdeli-
tev svojega dosežka, ki zajema reševanje njegove različice preizkusa znanja
in predvidevanje njegovega reševanja nalog, ki mu niso bile zastavljene, ter
ostalih dejavnikov (informacije o okoliščinah in učenju) (Martin idr., 2012).
Ker so dosežki učencev v obliki porazdelitve, njihov dosežek ni eno-
lično število. Po metodi IRT so takšne porazdelitve dosežkov dobro dolo-
čene s petimi naključno izbranimi vrednostmi iz porazdelitve. V podat-
kovnih bazah zato vsakemu učencu pripišejo po pet verjetnih vrednosti
dosežka na celotnem preizkusu znanja v obliki točk. Ker morajo statistične
analize upoštevati vseh pet verjetnih vrednosti (angl. plausible values) kot
eno oceno dosežka, zanjo uporabljajo posebej razvito programsko opremo
(IDB Analyzer) v obliki vmesnika med podatki in končno statistiko (Foy,
idr., 2013). Težave nastanejo pri izračunu napak. K napakam dosežka pri-
spevata vstavljanje verjetnih vrednosti in izračun porazdelitve, obenem pa
še dejstvo, da so podatki pridobljeni na vzorcu učencev. Napaka vzorca je
posledica stratificiranega vzorčenja šol in vzorčenja celotnih razredov na
njih ter odzivnosti vzorca, ki obsega odpovedi sodelovanja celih razredov
ali odsotnost posameznih vzorčenih učencev pri preizkusu znanja. Učen-
219
Istočasno s preizkusi znanja na enak način, z vprašalniki, v vseh so-
delujočih državah izmerijo tudi stališča učencev, učiteljev in ravnateljev šol
do poučevanja in znanja, pa tudi druge dejavnike, ki vplivajo na pridobiva-
nje znanja (Kozina idr., 2012).
Iz rezultatov je možno sklepati o povprečni uspešnosti učencev na do-
ločenih vsebinskih in kognitivnih področjih. Potrebno je izračunati dosež-
ke učencev pri reševanju nalog. Velika količina nalog, do 200 naravoslov-
nih in 200 matematičnih, je zato razporejena v 14 različic preizkusa znanja.
Vsak učenec namreč dobi v reševanje eno različico preizkusa, ki vsebuje
del nalog iz zbirke. Vzorec učencev in matrični sistem razporejanja nalog v
različice preizkusa in med učenci zagotovi, da se v celotni državi zbere do-
volj veliko število odgovorov na posamezno nalogo ter dovolj veliko število
odgovorov na naloge od posameznega učenca, da je kasneje mogoče stati-
stično določiti tako oceno uspešnosti reševanja posamezne naloge v državi
kot oceno uspešnosti posameznega učenca na celotnem preizkusu znanja.
Do ocene matematičnega in naravoslovnega znanja populacije je nekaj
dodatnih korakov. Ko učenec za vsako nalogo dobi točke, se njegov rezul-
tat vključi med vstopne podatke izračuna modelske vrednosti dosežka. Z
metodo odgovora na postavko (IRT – Item Response Theory), ki na podla-
gi rešitev nalog pri vseh učencih nalogam dodeli težavnost, in vstavljanjem
verjetnih vrednosti (imputacij) dobi vsak učenec verjetnostno porazdeli-
tev svojega dosežka, ki zajema reševanje njegove različice preizkusa znanja
in predvidevanje njegovega reševanja nalog, ki mu niso bile zastavljene, ter
ostalih dejavnikov (informacije o okoliščinah in učenju) (Martin idr., 2012).
Ker so dosežki učencev v obliki porazdelitve, njihov dosežek ni eno-
lično število. Po metodi IRT so takšne porazdelitve dosežkov dobro dolo-
čene s petimi naključno izbranimi vrednostmi iz porazdelitve. V podat-
kovnih bazah zato vsakemu učencu pripišejo po pet verjetnih vrednosti
dosežka na celotnem preizkusu znanja v obliki točk. Ker morajo statistične
analize upoštevati vseh pet verjetnih vrednosti (angl. plausible values) kot
eno oceno dosežka, zanjo uporabljajo posebej razvito programsko opremo
(IDB Analyzer) v obliki vmesnika med podatki in končno statistiko (Foy,
idr., 2013). Težave nastanejo pri izračunu napak. K napakam dosežka pri-
spevata vstavljanje verjetnih vrednosti in izračun porazdelitve, obenem pa
še dejstvo, da so podatki pridobljeni na vzorcu učencev. Napaka vzorca je
posledica stratificiranega vzorčenja šol in vzorčenja celotnih razredov na
njih ter odzivnosti vzorca, ki obsega odpovedi sodelovanja celih razredov
ali odsotnost posameznih vzorčenih učencev pri preizkusu znanja. Učen-
219
