Technologia IRT w testach psychometrycznych

Zbyt duża liczba pytań, a tym samym zbyt długi czas trwania testu bywają nużące dla kandydata. Czy przy niewielkiej liczbie pytań jednak uda nam się rzetelnie zbadać kompetencje? Okazuje się, że tak! W psychometrii z pomocą przychodzi technologia IRT. Sprawdź, dlaczego warto wybrać test stworzony zgodnie z jej założeniami.

W psychometrii do najpopularniejszych metod analizy odpowiedzi należą tzw. klasyczna teoria testu (CCT, ang. Classical Test Theory) oraz współczesny model teorii odpowiedzi na pozycje (IRT, ang. Item Response Theory).

Pierwsza z metod powstała na początku XX wieku pod wpływem teorii Spearmanna, która zakłada dwuczynnikową teorię inteligencji. Według niej każda umiejętność człowieka posiada czynnik ogólny (inteligencja ogólna) oraz czynnik specyficzny (zdolności specjalne). Klasyczna teoria testu zakłada proste podejście do tworzenia skal i oceniania odpowiedzi kwestionariuszowych – wszystkie pozycje mierzą ten sam stopień natężenia cech i charakteryzują się taką samą jakością.

Druga metoda – teoria odpowiedzi na pozycje – zrodziła się pod wpływem osiągnięć Fischera i stanowi ona bardziej pogłębioną metodę projektowania, analizowania oraz punktowania testów. Teoria odpowiedzi na pozycje (IRT) jest używana do określenia pewnej rodziny modeli, opisujących sposób udzielania przez badane osoby odpowiedzi na poszczególne pozycje testów. W efekcie badamy zachowania badanego w stosunku do pojedynczego zadania testowego, a nie całego testu.

Dlaczego warto wybrać test z wdrożoną IRT?

Technologia IRT pozwala dokładnie analizować strukturę testu oraz łatwo dobierać pozycje testowe, dzięki czemu osiągniemy taką rzetelność testu, jakiej oczekujemy. Możemy więc w jednym teście zbadać niskie oraz wysokie natężenie cechy (np. niski poziom umiejętności analizowania danych). Na podstawie teorii IRT możliwe jest tworzenie testów komputerowych (CAT), czyli testów, które same dopasowują się do wiedzy badanego, przez co skraca czas trwania badania.

Przykład:

Algorytm CAT wylicza najbardziej prawdopodobny poziom cechy badanego na podstawie jego dotychczasowego wzoru odpowiedzi. W efekcie uczestnik testu Verbal Talent na początku otrzymuje wylosowane pytanie o umiarkowanym poziomie trudności – jeśli udzieli na nie poprawnej odpowiedzi, algorytm wyliczy poziom wiedzy badanego i wylosuje kolejne pytanie, które będzie najlepiej dopasowane do jego wiedzy. Najlepiej dopasowany poziom trudności pytania to taki, w którym badany ma 50% szans na udzielenie poprawnej odpowiedzi.

Metoda IRT pozwala więc analizować zachowania kandydata w stosunku do pojedynczego zadania testowego, a nie całego testu, dzięki czemu kandydat otrzymuje zadania dopasowane do swojego poziomu. Takie podejście pozwala precyzyjnie badać nasilenie kompetencji i chroni nas przez oszustwem bądź manipulacją ze strony kandydata. Dodatkowo, testy stają mniej nużące dla badanego kandydata, bowiem utrzymują motywację na wysokim poziomie przez cały czas trwania testu.