Klasifikátory (MDT)

AutorJaroslav Halama

Publikováno09.10.2023

Zatím nehodnoceno.

Klasifikaci lze definovat jako zobrazení z množiny objektů (v našem případě testovaných) do množiny předem definovaných kategorií (například jazykové úrovně CEFR). Klasifikátorem je potom algoritmus, který provádí klasifikaci. Klasifikátory poskytují výstup v podobě zařazení testovaného do jedné z kategorií, které jsme předem definovali. Tato podoba výstupu má zcela zásadní význam při práci s výsledky testování. Jestliže výstupem testování je zařazení testovaného do kategorie, kterou máme předem a vhodně popsánu, umožňuje nám to snadno interpretovat výsledek testování. Jinými slovy naprosto přesně víme (z popisu kategorie), co můžeme od testovaného očekávat a v čem se liší od druhého testovaného, který je zařazen do jiné kategorie. Také, pokud jsou kategorie definovány správně, si snadno uvědomíme, mezi kterými testovanými jsou jen zanedbatelné rozdíly - mezi těmi, kteří budou zařazeni do stejné kategorie.

Příkladem klasifikace může být třeba lékařská diagnoza, profesní zkoušky nebo již zmiňovaný CEFRL. Ve všech zmíněných případech existují objektivně definované kategorie, které jsou snadno srozumitelné, což odborníkům i laikům zjednodušuje orientaci ve výsledcích testování.

MDT

MDT je zkratkou pro Measurement Decision Theory. Klasifikátor navržený Lawrencem M. Rudnerem. Cílem metody je zařadit testovaného prostřednictvím testu do jedné z předem definovaných kategorií. Vstupními údaji metody jsou:

$\mathbf{M}$ - množina kategorií.
$P(m_{k})$ - pravděpodobnost, že náhodný testovaný patří do kategorie $m_{k}$ . Pro každou kategorii $m_{k}\in\mathbf{M}$ .
- množina kalibrovaných položek (test), pomocí kterých budeme testovaného měřit.
Kalibrací položek rozumíme: $P(u_{i}|m_{k})$ - pravděpodobnost správného zodpovězení položky $u_{i}$ za předpokladu, že testovaný patří do kategorie $m_{k}$ . Pro každou položku $u_{i}\in\mathbf{U}$ a každou kategorii $m_{k}\in\mathbf{M}$ .
Vektor $\mathbf{z}$ - odpovědi testovaného na položky testu. V našem případě jde o vektor nul a jedniček takový, že pro každou položku $u_{i}$ z množiny , je odpovídající hodnota vektoru $z_{i}=1$ , právě když testovaný na tuto položku odpověděl správně, a $z_{i}=0$ v ostatních případech (považuje se za nesprávnou odpověď).

První dva vstupní údaje je třeba mít k dispozici před samotným testováním (například na základě pilotáže). Třetí vstupní údaj pochází ze samotného testování.
MDT je vlastně tzv. Naivním Bayesovým klasifikátorem. Za předpokladu lokální nezávislosti položek lze ze vstupních údajů s využitím Bayesovy věty vyjádřit pravděpodobnost $P(m_{k}|\mathbf{z})$ , že testovaný patří do kategorie $m_{k}$ za předpokladu vektoru $\mathbf{z}$ jeho odpovědí, takto:

$P(m_{k}|\mathbf{z})=cP(\mathbf{z}|m_{k})P(m_{k})$
$c=\frac{1}{\sum P(\mathbf{z}|m_{k})P(m_{k})}$ (normalizační konstanta)
$P(\mathbf{z}|m_{k})=(\prod P(u_{i}|m_{k})\mathbf{z})(\prod(1-P(u_{i}|m_{k}))(1-\mathbf{z}))$

Zařazení testovaného do příslušné kategorie lze pak již udělat přímočaře - testovaného zařadíme do kategorie s nejvyšší výslednou pravděpodobností $P(m_{k}|\mathbf{z})$ .

Kalibrace MDT

Vstupním údajem metody jsou pravděpodobnosti, že náhodný testovaný spadá do jednotlivých kategorií, tedy pravděpodobnostní rozložení jednotlivců spadajících do jednotlivých kategorií v populaci. A zejména množinu kalibrovaných položek. Oba tyto údaje můžeme získat z pilotáže, kde testovanými (pilotanty) budou osoby, jejichž klasifikaci známe (víme, do které kategorie ten který testovaný patří). Klasifikaci pilotantů získáme typicky z externích zdrojů - na základě existujících hodnotících nástrojů a certifikátů, nebo pomocí například komise hodnotitelů.

Abychom z pilotáže zjistili pravděpodobnostní rozložení kategorií v populaci, je třeba mít reprezentativní vzorek pilotních testovaných. Druhou možností je opětovné využití externích zdrojů, například existujících statistik. V případě úplné nedostupnosti potřebných údajů lze bez zásadní újmy na přesnosti metody považovat rozložení kategorií za rovnoměrné.

Obtížnějším a závažnějším problémem je kalibrace samotných položek. Zde již není možnost ustoupit k “rovnoměrnému rozložení”, jako v předchozím případě. Klíčová otázka zní: kolik pilotantů potřebujeme pro uspokojivou kalibraci položek? Náročnost klasifikace roste s počtem uvažovaných kategorií. Náročností zde myslíme jak potřebný počet úloh (ke klasifikaci jsou třeba delší testy), tak obtížnost kalibrace. Potřeba pilotantů neroste s počtem položek. Proto uvádíme počet pilotantů potřebných ke kalibraci položek v závislosti na počtu kategorií. Značné přesnosti klasifikace lze dosáhnout při pilotním vzorku deseti pilotantů na každou kategorii.

Dostupnost pilotantů

V předchozí sekci jsme konstatovali, že pro kalibraci MDT nám postačuje poměrně malý počet pilotantů. Přesto zůstává nákladnost a obtížnost získání dostatečného počtu klasifikovaných pilotantů a jejich schopnost motivovaně vyřešit dostatečné množství úloh klíčovým aspektem nasazování MDT do praxe. Proto je žádoucí skupinu pilotantů dále redukovat. Naštěstí Naivní Bayesův klasifikátor umožňuje (příklad a inspiraci lze najít v Bayesově klasifikaci dokumentů) jít cestou omezení kalibrace pouze na část položek, což dokáže počet potřebných pilotantů a tím i kalibrační náklady významně snížit.

Reference:
J. Dvořák: Moderní způsoby tvorby a vyhodnocování testů. In Proc. Meranie vedomostí ako súčasť zvyšovania kvality vzdelávania, Trnava, Slovensko, 2011

Pro hodnocení musíte být přihlášeni.

0 komentářů

Chcete diskutovat? Stačí se jen přihlásit.

Bez komentáře. Buďte první.

Klasifikátory (MDT)

MDT

Kalibrace MDT

Dostupnost pilotantů

0 komentářů

Nejčtenější články

Newsletter #1 - Pětilístek a Diamant

Newsletter #2 - Grafické organizéry

7 čtenářských technik, které stojí za to vyzkoušet – díl 1.