English
Scio.cz| Pro žáky ZŠ a rodiče| Pro školy a učitele| O nás| Kontakty| Média
Informace Fakulty s NSZ Přihláška k NSZ E-shop
Elektronický obchod Seznam fakult VŠ Popis testů a ukázky Prezenční kurz OSP

Harmonizovaný ( = přepočtený) percentil

Harmonizovaný ( = přepočtený) percentil udává definitivní výsledek každého účastníka Národních srovnávacích zkoušek společnosti Scio. Na této stránce naleznete popis metody a postup výpočtu harmonizovaného (přepočteného) percentilu a tabulky přepočtu skóre na přepočtený percentil pro jednotlivé termíny a předměty zkoušek (u OSP, ZSV a Přírodních věd pro jednotlivé oddíly testu).

Důvodem pro stanovení výsledku účastníka zkoušky formou harmonizovaného (přepočteného) percentilu, který se vypočítává popsanou metodou, je především skutečnost, že je nutné jeho prostřednictvím po každém proběhnuvším termínu co nejobjektivněji porovnat výsledky různých účastníků zkoušek v různých termínech a za použití různých variant testů, a to v okamžiku, kdy některé termíny ještě neproběhly. V teorii srovnávání testu (Test Equating) existuje několik různých modelů a metod. Podle zvoleného modelu jsou sestavovány testy, účastníkům jsou přiřazovány jednotlivé varianty testu a řídí se jím také celý sběr dat. Podle vybrané metody jsou pak prováděny jednotlivé výpočty a sestrojovány srovnávací funkce, které srovnávají skóre z různých variant. Popis jednotlivých metod naleznete níže.

Vlastní srovnání variant a harmonizace (přepočet) percentilů

Všechny testy NSZ použité ve školním roce 2007/2008 budou přepočítávány stejným postupem.

Pro každý předmět máme předem připraven normovaný test použitý na velkém vzorku účastnické cílové skupiny v minulosti. Na základě tohoto testu je také nastavena stupnice přepočteného percentilu (norma), kdy každému skóre je přiřazena hodnota přepočteného percentilu. V každém termínu a předmětu (neplatí však pro PV, FJ a Čj pro cizince) bude jedna varianta srovnávána s normovaným testem pomocí srovnávacího modelu společných úloh na neekvivalentní skupině a dále pomocí zřetězené ekvipercentilové metody s vyhlazením všech distribučních křivek polynomickou log-lineární křivkou stupně 3. Pokud jsou v termínu dvě varianty jednoho předmětu, je druhá varianta srovnána s první variantou srovnávacím modelem náhodných skupin a ekvipercentilovou metodou s vyhlazením obou distribučních křivek polynomickou log-lineární křivkou stupně 3. Bližší popis těchto metod naleznete níže.

Pojmy a vysvětlivky

pojmy související s percentilem a výpočtem (doc; 36kb) 

Tabulky přepočtu skóre na harmonizovaný percentil - NSZ 2007/2008

 NSZ V., 31. května 2008

NSZ IV., 1. května 2008

NSZ III., 29. března 2008

NSZ II., 9. února 2008

NSZ I., 24. listopadu 2007

 

Tabulka přepočtu průměrného percentilu za oddíly testu na skutečný percentil

Skutečný percentil je hodnota, která udává, kolik procent účastníků dané zkoušky bylo horších při dosažení daného průměrného percentilu za oddíly testu (průměr harmonizovaných percentilů za oddíly testu).

 

 

 

Obecné teorie srovnávaní testů (Test Equating)

Modely srovnávání testů

  • Srovnávací model náhodných skupin (Random Groups Design)

Tento model je využíván, pokud máme v jednom termínu dvě varianty stejného testu (např. testu OSP). Skupina testovaných je náhodně rozdělena na dvě poloviny, z nichž každá řeší jednu variantu testu. Obvyklá metoda rozdělení je tzv. "spiraling", kdy jsou obě varianty v jedné místnosti rozděleny střídavě. První testovaný píše variantu A, druhý variantu B, třetí variantu A atd. Při takovémto náhodném rozdělení můžeme obě podskupiny považovat za rovnocenné (equivalent) a rozdíly ve statistických parametrech obou variant testu dosažených příslušnou podskupinou (průměrná úspěšnost, rozptyl skóre) přímo považujeme za rozdíly těchto dvou variant (bez vlivu úrovně testované skupiny). Tato metoda je použita pro potřeby NSZ.

  • Srovnávací model společných úloh pro neekvivalentní skupiny (Common -Item Nonequivalent Groups Design)

Tento model je užíván v případech, kdy dvě varianty testu řeší dvě různé (neekvivalentní) skupiny. Typickým příkladem jsou dva různé termíny jednoho testu, kdy ekvivalent skupin nejsme schopni nijak zaručit (např. hypotéza, že na první termíny se hlásí zodpovědnější uchazeči než na poslední. Dopad tohoto vlivu není možné předem odhadnout). Rozdíly v průměrné úspěšnosti a dalších statistických charakteristikách obou variant jsou ovlivněny nejen rozdílností variant, ale také rozdílností testovaných skupin. V tomto modelu varianta A a varianta B mají společnou podmnožinu úloh. Na těchto společných úlohách se porovnávají rozdílné úrovně obou testovaných skupin. A poté je možné provést srovnání obou variant očištěné od vlivu rozdílnosti skupin. Tato metoda je použita pro potřeby NSZ.

  • Další užívané srovnávací modely

Mezi další užívané srovnávací modely patří Model jedné skupiny (Singel Group Design), kdy obě varianty testu jsou distribuovány stejné skupině testovaných, a Vyvážený model jedné skupiny (Singel Group Design with Counterbalancing), kdy jsou obě varianty opět testovány na jedné skupině, ale polovina testovaných absolvuje nejprve variantu A a poté variantu B, zatímco druhá polovina řeší testy v opačném pořadí. Tento model eliminuje vliv zkušenosti s testem, který ovlivňuje úspěšnost druhého testu v pořadí. Oba tyto modely nejsou pro NSZ vhodné.

Metody srovnávání testů

Dvěma nejužívanějšími metodami srovnávání testů jsou metoda lineární a metoda ekvipercentilová. Lineární metoda je založena na srovnávání průměrné úspěšnosti a rozptylu skóre obou variant. Ekvipercentilová metoda je založena na porovnávání kumulativních distributivních křivek. Zjednodušeně řečeno, ekvipercentilová metoda srovnává účastníky, kteří v jednotlivých variantách dosáhli stejného percentilu (předstihli stejné množství ostatních účastníků dané varianty). Na rozdíl od lineární metody je ekvipercentilová metoda přesnější na celé škále skóre. Proto byla pro potřeby NSZ 2007/2008 zvolena ekvipercentilová metoda a v dalším textu je podrobně vysvětleno její konkrétní užití.

  • Ekvipercentilová metoda (Equipercentile Equating)

Ekvipercentilová metoda je založena na pojmu percentil skóre, který pro dané skóre uvádí, kolik procent z testovaných dosáhlo nižšího nebo stejného skóre (někdy se v definici uvažuje pouze nižší skóre, což je z faktického hlediska rovnocenné). Srovnání skóru z jedné varianty se skórem z druhé varianty pak dosáhneme tak, že ke každému skóru z první varianty přiřadíme skóre z druhé varianty, které má stejný percentil. Předpokladem ekvipercentilové metody je, že skupiny testovaných v obou variantách testu jsou rovnocenné, což platí například pro model náhodných skupin, kde se tato metoda hojně využívá. Přesná matematická definice je pak následující:

Ekvipercentilová metoda (PDF)  

Vyhlazování (smoothing) ekvipercentilové srovnávací funkce (PDF) - protože kumulativní distributivní funkce skóre (viz PDF Ekvipercentilová metoda) jsou často „kostrbaté“ (některého skóre dosáhne vyrazně odlišný počet testovaných), je využíváno tzv. vyhlazování těchto distribučních funkcí.

  • Zřetězená ekvipercentilová metoda (Chained Equipercentile Equating)

Pro srovnávací model společných úloh pro neekvivalentní skupiny se užívá zřetězená ekvipercentilová metoda. Jak již bylo napsáno výše, tento model využívá společné množiny úloh, které se vyskytují ve variantě X i Y (označení X a Y užíváme, protože se obecně jedná o dvě varianty testu použité v jiných termínech). Srovnávání se pak skládá ze dvou ekvipercentilových srovnání na stejné skupině testovaných. Nejprve se skóre z varianty X ekvipercentilově srovná se skórem na společných úlohách. Společné úlohy se zde uvažují jako samostatný test, který řešila stejná skupina lidí jako variantu X. Tytéž společné úlohy řešila také skupina lidí testovaných variantou Y. Opět můžeme skóre ze společných úloh (tentokrát řešených skupinou lidí z varianty Y) ekvipercentilově srovnat se skórem z varianty Y. Spojením (zřetězením) těchto dvou srovnávání dostaneme srovnání skóru varianty X se skórem varianty Y. Přesná matematická definice je pak následující:

VZOREC matematické definice (PDF) 

Použitá literatura:

Kolen, M.J. & Brennan, R.L. (2004). Test Equating, Scaling, and Linking: Methods and Practices (2nd ed.). New York: Springer-Verlag
Livingston, S.A. (2004). Equating Test Scores (without IRT). Princeton, NJ: Educational Testing Service.
Wang, T., Lee, W.-C., Brennan, R. J., & Kolen, M. J. (2006). A Comparison of the Frequency Estimation and Chained Equipercentile Methods Under the Common-Item Non-Equivalent Groups Design. Iowa City: CASMA Research Report N.17.
2008 © www.SCIO.cz s.r.o
Scio.cz
webdesign: beeonline.cz