У психометрії тео́рія ві́дгуку завда́ння (ТВЗ, , відома також як тео́рія лате́нтних рис, , си́льна тео́рія і́стинної оці́нки, , та суча́сна тео́рія психометри́чного тестува́ння, ) — це парадигма розробки, аналізу та оцінювання тестів, опитувальників та подібних інструментів, що вимірюють здібності, ставлення чи інші змінні. Це теорія тестування, яка ґрунтується на взаємозв'язку між успішністю осіб на окремому тестовому завданні та рівнем успішності тестованих за загальним показником здібності, для оцінювання якої було це завдання розроблено. Для подання характеристик як завдань, так і іспитників використовують кілька різних статистичних моделей. На відміну від простіших підходів до створення шкал та оцінювання відповідей на опитувальники, теорія відгуку завдання не виходить із того, що всі завдання мають однакову складність. Це відрізняє ТВЗ від, наприклад, лайкертового шкалювання, в якому «всі завдання вважають повтореннями одне одного, або, іншими словами, завдання розглядають як паралельні інструменти». Натомість теорія відгуку завдання враховує складність кожного завдання (характеристичні криві завдань, або ХКЗ, ) як інформацію, яку слід включати в шкалюванні завдань.
Вона ґрунтується на застосуванні пов'язаних математичних моделей до тестових даних. Оскільки її часто вважають вищою за класичну теорію тестування, їй часто віддають перевагу для розробки шкал у США, особливо коли вимагаються оптимальні рішення, як у так званих тестах з високими ставками, як-то тест для вступу до магістратури (GRE) чи тест для допуску до магістерських програм з менеджменту (GMAT).
Назва теорія відгуку завдання зумовлена зосередженістю цієї теорії на завданні, на відміну від зосередженості на рівень тесту класичної теорії тестування. Таким чином, ТВЗ моделює відгук кожного іспитника заданої кваліфікації на кожне завдання в тесті. Термін завдання узагальнений, і охоплює всі види інформативних завдань. Це можуть бути завдання множинного вибору з неправильними та правильними відповідями, але також поширені й твердження в опитувальниках, які дозволяють респондентам вказувати рівень згоди (як-от чи лайкертове шкалювання), або симптоми пацієнта, оцінювані як присутні/відсутні, чи діагностична інформація в складних системах.
ТВЗ ґрунтується на ідеї, що ймовірність правильної/очікуваної відповіді на завдання є математичною функцією параметрів особи та завдання. (Вираз «математична функція параметрів особи та завдання» аналогічний , B = f(P, E), яке стверджує, що поведінка є функцією особи в її середовищі.) Параметр особи зазвичай розглядають як (єдину) латентну рису або вимір. До прикладів належать загальний рівень інтелекту та вираженість певного ставлення. До параметрів, за якими характеризують завдання, належать їхня складність (, відома також як «розташування», , через те, що їх розташовують на шкалі складності); розрізнювальність (, нахил чи кореляція), яка відображає, наскільки різко рівень успіху осіб змінюється залежно від їхньої здібності; та параметр псевдовідгадуваності (), який характеризує (нижню) асимптоту, на якій навіть найнездібніші особи матимуть успіх через відгадування (наприклад, 25 % для чисто випадкової відповіді у завданні множинного вибору з чотирма можливими варіантами відповіді).
Аналогічним чином ТВЗ можливо використовувати для вимірювання людської поведінки в соціальних мережах в Інтернеті. Думки, висловлені різними людьми, можливо агрегувати для дослідження за допомогою ТВЗ. Також було оцінено її застосування для класифікування інформації як дезінформації чи достовірної інформації.
Огляд
Концепція функції відгуку завдання існувала ще до 1950 року. Піонерська робота над ТВЗ як теорією відбувалася в 1950-х та 1960-х роках. Три піонери цієї галузі — психометр зі Служби освітніх тестувань () , данський математик та австрійський соціолог Пауль Лазарсфельд, які проводили дослідження паралельно й незалежно. Серед ключових постатей, які зробили значний внесок у розвиток ТВЗ, слід згадати та . Широке використання ТВЗ розпочалося лише наприкінці 1970-х і 1980-х років, коли, з одного боку, практиків почали переконувати у «корисності» та «перевагах» ТВЗ, а з іншого — доступність персональних комп'ютерів надала багатьом дослідникам обчислювальні потужності, необхідні для застосування ТВЗ. У 1990-х роках розробила два програмні засоби для аналізу даних досліджень PISA та TIMSS: ACER ConQuest (1998) і пакет R TAM (2010).
Серед іншого, мета ТВЗ полягає у створенні системи для оцінювання ефективності роботи оцінювань та ефективності роботи окремих завдань в оцінюваннях. Найпоширенішим застосуванням ТВЗ є освіта, де психометри використовують її для розробки та проєктування іспитів, підтримування банків завдань для іспитів та вирівнювання () складності завдань для наступних версій іспитів (наприклад, для забезпечення можливості порівняння результатів з плином часу).
Моделі ТВЗ часто називають моделями латентних рис (). Термін латентний використовують для підкреслення того, що дискретні відповіді на завдання розглядаються як спостережувані прояви гіпотетичних рис, конструктів чи атрибутів, які безпосередньо не спостерігаються, але мусять бути виведені з проявлених відповідей. Моделі латентних рис розробили в галузі соціології, але вони практично ідентичні моделям ТВЗ.
ТВЗ зазвичай вважають вдосконаленням порівняно з класичною теорією тестування (КТТ). Для завдань, які можливо виконати за допомогою КТТ, ТВЗ зазвичай надає більшу гнучкість і пропонує витонченішу інформацію. Деякі застосування, як-от комп'ютеризоване адаптивне тестування, стають можливими завдяки ТВЗ і не можуть здійснюватися з використанням лише класичної теорії тестування. Ще однією перевагою ТВЗ над КТТ є те, що витонченіша інформація, яку надає ТВЗ, дає можливість дослідникові підвищити надійність .
ТВЗ виходить із трьох припущень:
Одновимірна риса, позначувана через ; завдань; Відповідь особи на завдання можливо змоделювати за допомогою математичної функції відгуку завдання (ФВЗ, ).
Далі, вважають, що рису можливо виміряти за якоюсь шкалою (існування тесту вже виходить з цього), яку зазвичай налаштовують на стандартну шкалу із середнім значенням 0,0 і стандартним відхиленням 1,0. Одновимірність слід розуміти як однорідність, якість, яку потрібно визначити або емпірично довести відповідно до певної мети чи використання, а не як кількість, яку можливо виміряти. «Локальна незалежність» означає (а) що ймовірність використання одного завдання не залежить від використання будь-яких інших завдань і (б) що відповідь на завдання є незалежним рішенням кожного тестованого, тобто відсутнє списування або спільна робота парами чи групами. Питання вимірності зазвичай досліджують за допомогою факторного аналізу, тоді як ФВЗ є основною складовою ТВЗ і центром багатьох досліджень та літератури.
Функція відгуку завдання Функція відгуку завдання (ФВЗ, ) показує ймовірність того, що особа з певним рівнем здібностей відповість правильно. Особи з нижчим рівнем здібностей мають менше шансів, тоді як особи з високим рівнем здібностей, навпаки, дуже ймовірно дадуть правильну відповідь; наприклад, учні з вищими математичними здібностями з більшою ймовірністю правильно розв'яжуть математичне завдання. Точне значення ймовірності залежить, крім рівня здібностей, від набору параметрів завдання, які використовують у ФВЗ.
Трипараметрова логістична модель
Наприклад, у трипара́метровій логісти́чній моде́лі (3ПЛ, ) ймовірність правильної відповіді на дихотомноме завдання i, зазвичай завдання множинного вибору, становить
де вказує, що здібності особи моделюються як вибірка з нормального розподілу для цілей оцінювання параметрів завдання. Після того як параметри завдання оцінено, оцінюються здібності окремих осіб для звітності. , та це параметри завдання. Вони визначають форму ФВЗ. Рис. 1 показує ідеальну характеристичну криву завдання (ХКЗ) 3ПЛ.
Параметри завдання можливо інтерпретувати як зміну форми стандартної логістичної функції:
Коротко, параметри інтерпретують наступним чином (для зручності індекси пропущено); b найосновніший, тому йде першим: b — складність, розташування завдання: середня точка між (мінімум) та 1 (максимум), а також точка, де нахил максимальний. a — розрізнювальність, масштаб, нахил: максимальний нахил c — псевдовідгадуваність, випадковість, асимптотичний мінімум
Якщо то формули спрощуються до та що означає, що b дорівнює рівню успіху в 50 % (складність), а a (поділений на чотири) є максимальним нахилом (розрізнювальністю), що виникає на рівні успіху в 50 %. Далі, логіт (логарифм шансів) правильної відповіді дорівнює (за умови ): зокрема, якщо здібність θ дорівнює складності b, шанси на правильну відповідь рівні (1:1, тобто логіт 0). Що більше здібність перевищує складність (або відстає від неї), то вища (або нижча) ймовірність правильної відповіді, причому розрізнювальність a визначає, наскільки швидко збільшуються або зменшуються шанси зі зміною здібності.
Іншими словами, стандартна логістична функція має асимптотичний мінімум 0 (), центрована навколо 0 (, ) і має максимальний нахил Параметр розтягує горизонтальну шкалу, параметр зміщує горизонтальну шкалу, а параметр стискає вертикальну шкалу від до Докладніше це пояснено нижче.
Параметр подає розташування завдання, яке у випадку тестування досягнень називають складністю завдання. Це точка на , де ФВЗ має максимальний нахил і де значення знаходиться посередині між мінімальним значенням та максимальним значенням 1. Завдання в прикладі має середню складність, оскільки =0,0, що близько до центру розподілу. Зауважте, що ця модель масштабує складність завдання та рису особи на одному й тому же континуумі. Таким чином, можна говорити про те, що завдання приблизно таке ж складне, як рівень риси Особи A, або, що рівень риси особи приблизно дорівнює складності Завдання Y, в сенсі того, що успішне виконання завдання відображає певний рівень здібності.
Параметр завдання подає розрізнювальність завдання, тобто ступінь, до якого завдання розрізняє осіб у різних областях латентного континууму. Цей параметр характеризує нахил ФВЗ у точці, де він максимальний. У прикладі завдання має =1,0, що забезпечує доволі добру розрізнювальність; особи з низьким рівнем здібностей мають набагато менший шанс дати правильну відповідь, ніж особи з вищими здібностями. Цей параметр розрізнювальності відповідає ваговому коефіцієнту відповідного завдання чи показника у стандартній зваженій лінійній регресії () і, таким чином, може бути використаний для створення зваженого індексу показників для некерованого вимірювання латентного поняття.
Для завдань, таких як завдання множинного вибору, параметр використовують для врахування впливу відгадування на ймовірність правильної відповіді. Він вказує ймовірність того, що особи з дуже низькими здібностями правильно відповідатимуть на це завдання випадково, математично виражену як нижня асимптота. У завданні множинного вибору з чотирма варіантами відповідей ФВЗ може виглядати так, як у прикладі; ймовірність вгадати правильну відповідь для кандидата з надзвичайно низькими здібностями становить 1/4, тому буде приблизно 0,25. Цей підхід виходить з того, що всі варіанти відповідей однаково ймовірні, оскільки, якщо один варіант виглядав би безглуздим, навіть особа з найнижчими здібностями могла б його відкинути, тож методи оцінювання параметрів у ТВЗ враховують це і оцінюють на основі спостережуваних даних.
Моделі ТВЗ Загалом моделі ТВЗ можливо поділити на дві категорії: одновимірні та багатовимірні. Одновимірні моделі вимагають наявності однієї вимірюваної риси (здібності) . Багатовимірні моделі ТВЗ моделюють дані відгуку, що припускають виникнення з кількох рис. Проте, через значно вищу складність, більшість досліджень та застосувань ТВЗ використовують одновимірну модель.