PEDAGOŠKI INŠTITUTV doktorskem delu je mlada raziskovalka na Pedagoškem inštitutu Mojca Rožman raziskovala učinek sestave vzorca pri ocenjevanju parametrov postavk in dosežkov v mednarodnih raziskavah znanja. V nadaljevanju je predstavljen del izsledkov njenega doktorskega dela.
Število sodelujočih držav se v mednarodnih študijah spreminja, v vsaki novi ponovitvi zbiranja podatkov sodeluje več držav. V ocenjevanje parametrov postavk in dosežkov so vključene samo države, ki so sodelovale v zaporednih ponovitvah in ki s kakovostjo izvedbe raziskave sledijo mednarodnim postopkom. Glede na to, da v zaporednih izvedbah sodelujejo različne države, so v ocenjevanje parametrov postavk vključene vsakič druge države. Zaradi tega se zastavlja vprašanje invariantnosti dosežkov učencev in parametrov postavk. Bi bili dosežki oziroma zaključki enaki, če bi sodelovale druge države? V doktorskem delu smo se osredotočili na opazovanje invariantnosti parametrov postavk in dosežkov učencev v primerih, ko so v ocenjevanje parametrov vključene različne skupine držav. S spreminjanjem sestave kalibracijskega vzorca (vzorec na katerem se umerijo postavke) smo skušali ugotoviti, ali imajo države, ki sodelujejo (s svojimi lastnostmi), kakšen učinek na metodologijo, ki se uporablja za lestvičenje dosežkov v raziskavah. Opazovali smo ocene dosežkov in parametrov postavk glede na dva dejavnika (“enoto” v vzorcu predstavlja država): velikost vzorca ter stopnja sposobnosti v vzorcu.
Uporabili smo podatke mednarodne raziskave PIRLS 2006 ter ponovno izračunali dosežke učencev glede na oba proučevana dejavnika. Znanje učencev v tej raziskavi merijo s pomočjo objektivnih preizkusov znanja. Da bi ocenili znanje učencev, uporabljajo metodo matričnega razvrščanja nalog, kjer vsak učenec reši le določen nabor postavk (nalog). Postavk je namreč veliko več, kot jih lahko v razumnem času reši posamezni učenec. Ker vsak učenec ne rešuje vseh postavk, pri vsakem učencu manjkajo podatki za določene postavke. Za izračun dosežkov se uporablja kombinacija lestvičenja s teorijo odgovora na postavko (TOP) ter metodologijo večkratnega vstavljanja (angl. multiple imputation; vrednosti večkratnega vstavljanja se v mednarodnih raziskavah znanja imenujejo verjetnostne vrednosti, angl. plausible values). S to metodologijo zanesljivo ocenjevanje dosežka posameznika ni možno, so pa ocene dosežkov zanesljive za posamezne skupine udeležencev.
Referenčne parametre postavk smo dobili tako, da smo v ocenjevanje vključili vse sodelujoče države in sicer na način, da vsaka država enako prispeva k parametrom postavk. Dobljeni rezultati so nam služili kot osnova za primerjavo na novo izračunanih parametrov postavk in dosežkov učencev.
V iskanju odgovora na prvo raziskovalno vprašanje smo v ocenjevanje vključili različno število držav. Posamezni pogoji so se razlikovali glede na različno število vključenih držav v kalibracijski vzorec. Odločili smo se za 2, 3, 4, 6 in 10 držav (saj smo predpostavljali, da se po določenem številu vključenih držav parametri postavk več ne bodo spreminjali). Države smo izbirali naključno in postopek znotraj vsakega pogoja večkrat ponovili ter tako pridobili tudi informacijo o variabilnosti ocen parametrov.
Rezultati kažejo, da so absolutne razlike v dosežkih učencev v primerjavi z referenčnimi mnogo manjše, če v kalibracijski vzorec vključimo večje število držav. Ugotovili smo, da so te razlike najmanjše v pogoju z 10 državami v primerjavi z ostalimi pogoji. V splošnem lahko ugotovimo, da velikost vzorca ni tako pomemben dejavnik pri izračunu dosežkov učencev, če je vzorec držav dovolj velik. Zato je potrebno v izračun dosežkov vključiti čim večje število držav (ali vsaj deset kot kažejo naši rezultati). V tem primeru namreč ne ugotovimo bistvenih razlik v primerjavi z referenčnimi dosežki držav. Podobno je s parametri postavk, ki so prav tako v pogoju z vključenimi 10 državami zelo podobni referenčnim.
V naslednjem koraku smo ocenjevali parametre postavk glede na vključevanje držav po njihovem povprečnem dosežku. Države smo najprej razvrstili po povprečnem dosežku (od države z najvišjim dosežkom do države z najnižjim dosežkom) ter nato za primerjavo izbrali zgornjo tretjino držav in spodnjo tretjino držav. Nato smo ponovno ocenili parametre postavk na podvzorcu vsake skupine držav (višji in nižji dosežek) in te parametre uporabili za izračun dosežkov vseh sodelujočih držav. Ponovno smo na novo izračunane parametre postavk ter dosežke primerjali z referenčnimi.
Iz rezultatov dobljenih na podlagi povprečnega dosežka držav vključenih v kalibracijski vzorec lahko zaključimo naslednje. Izkazalo se je, da na podlagi držav z nižjim dosežkom učinkoviteje ocenimo dosežek vseh držav. Razlike v dosežkih izračunanih na podlagi držav z višjim dosežkov in referenčnimi dosežki so vsaj trikrat večje kot tiste dobljene na podlagi držav z nižjim dosežkom. Ugotovljeni rezultati so nekoliko presenetljivi. Ob podrobnejšem pogledu na dosežke obeh skupin držav (iz katerih smo vzorčili države v kalibracijski vzorec) lahko ugotovimo, da so dosežki v skupini držav z višjim dosežkom mnogo bolj homogeni kot dosežki držav z nižjim dosežkom. Ti rezultati nakazujejo, da je v kalibracijskem vzorcu zelo pomembna pokritost oziroma razpršenost dosežkov. Slednja mora biti večja, saj tako bolj zanesljivo ocenimo dosežek v sodelujočih državah. Prav posebno pozornost moramo nameniti državam z nižjim povprečnim dosežkom, ki tudi v tem primeru v obeh pogojih nakazujejo večja odstopanja od referenčnih vrednosti.
Rezultati doktorskega dela nudijo uporabne informacije v zvezi z invariantnostjo ocen parametrov postavk ter dosežkov v različnih pogojih kalibracijskega vzorca. Absolutne razlike v dosežkih znotraj pogojev niso bile velike v primerjavi z referenčnim pogojem. Kljub temu pa rezultati nudijo nekaj praktičnih nasvetov, ki bodo uporabni v nadaljnjih ponovitvah raziskav. Doktorsko delo torej prispeva k razumevanju pojma oziroma lastnosti invariantnosti modelov TOP na realnih podatkih.
Mojca Rožman, mlada raziskovalka
SIGNUP