Диференційо́ване (відмі́нне) функціонува́ння завда́ння (ДФЗ, ) — це статистична властивість тестового завдання, яка вказує, наскільки ймовірно, що респонденти з різних груп, які мають схожі здібності, відповідатимуть на це завдання по-різному. Воно проявляється тоді, коли респонденти з різних груп, маючи порівнянний рівень навичок, мають нерівну ймовірність правильної відповіді на запитання. Існує два основні типи ДФЗ: однорі́дне ДФЗ (), коли одна група постійно має перевагу над іншою, та неоднорі́дне ДФЗ (), коли перевага змінюється залежно від рівня здібності респондента.

Наявність ДФЗ потребує аналізу й оцінки, проте не завжди означає упередженість (). Аналіз ДФЗ дає змогу виявити неочікувану поведінку завдань у тесті. ДФЗ не визначається лише різними ймовірностями вибору певної відповіді серед респондентів з різних груп. Натомість, воно проявляється тоді, коли респонденти з різних груп, маючи однакову істинну здібність в основі, демонструють різні ймовірності надавати певну відповідь. Навіть за наявності в тесті однорідного зміщення (), розробники тестів іноді вдаються до припущень, що зміщення ДФЗ в різних завданнях можуть взаємно нівелюватися, через необхідність великої роботи для їх усунення, компрометуючи етичність тесту та закріплюючи системні упередження.

Поширеними методами оцінювання ДФЗ є процедура Ментела — Гензеля (), логістична регресія, методи на основі теорії відгуку завдання (ТВЗ, ) та методи на основі (ПФА, ).

Опис ДФЗ стосується відмінностей у функціонуванні завдань між групами, часто демографічними, які зіставлені за латентною рисою або, загальніше, за характеристикою, яку вимірюють ці завдання чи тест. Важливо зазначити, що при аналізі завдань на ДФЗ ці групи мають бути зіставлені за вимірюваною характеристикою, інакше можливе некоректне виявлення ДФЗ.

Щоби сформувати загальне розуміння ДФЗ або зміщення вимірювання (), розгляньмо такий приклад, запропонований Остерліндом та Еверсоном (2009). У цьому випадку позначує відгук певного тестового завдання, який визначається вимірюваним латентним . Латентний конструкт, що нас цікавить, позначують через тета (), де є покажчиком , який можливо подати у термінах розподілу ймовірності за за допомогою виразу . Отже, відгук обумовлено латентною рисою ().

Оскільки ДФЗ аналізує відмінності в умовних імовірностях між групами, позначмо ці групи як «референтну» () та «фокусну» (). Хоча сама назва не має значення, типова практика в літературі полягає в тому, щоби позначувати референтною ту групу, яка за підозрою має перевагу, тоді як фокусна група — це та, яку цей тест очікувано ставитиме в невигідне становище. Отже, за функційної залежності і за припущення ідентичності розподілів похибки вимірювання для референтної та фокусної груп можливо зробити висновок, що за нульової гіпотези

де відповідає змінній групування,  — референтна група, а  — фокусна.

Це рівняння подає випадок, коли ДФЗ відсутнє. У ньому відсутність ДФЗ визначається тим, що умовний розподіл імовірності не залежить від групової приналежності. Для ілюстрації розгляньмо завдання з варіантами відповіді і , де вказує на неправильну відповідь, а  — на правильну. Ймовірність відповісти на завдання правильно однакова для учасників обох груп. Це вказує на відсутність ДФЗ чи упередження завдання, оскільки учасники референтної та фокусної груп із однаковою здібністю чи характеристикою в основі мають однакову ймовірність відповісти правильно. Отже, немає упередженості або невигідного становища для однієї з груп відносно іншої.

Розгляньмо випадок, коли умовна ймовірність не однакова для референтної й фокусної груп. Іншими словами, учасники з різних груп, що мають однаковий рівень характеристики чи здібності, мають відмінні розподіли ймовірності . При контролі спостерігається явна залежність між груповою приналежністю та успішністю в завданні. Для дихотомних завдань це означає, що коли фокусна й референтна групи перебувають на одному рівні , ймовірність правильної відповіді або схвалення в завданні різна. Отже, група з вищою умовною ймовірністю правильно відповісти на завдання є тією, якій це завдання дає перевагу. Це свідчить про те, що тестове завдання упереджене й функціонує по-різному для цих груп, тобто проявляє ДФЗ.

Важливо розрізняти ДФЗ чи упередженість вимірювання та звичайні групові відмінності. У той час як групові відмінності вказують на різні розподіли оцінок за , ДФЗ чітко передбачає обумовленість за . Наприклад, розгляньмо наступне рівняння:

Це вказує на обумовленість оцінки респондента групуванням, тобто наявність інформації про групову належність змінює ймовірність правильної відповіді. Отже, якщо групи різняться за , а успішність залежить від , то наведене рівняння вказуватиме на упередженість завдання навіть за відсутності ДФЗ. Саме тому в літературі з вимірювань загальновизнано, що відмінності за , обумовлені лише груповою приналежністю, недостатні для встановлення упередженості.

Насправді, відмінності між групами за чи здібностями поширені й становлять основу для численних досліджень. Щоби встановити упередженість або ДФЗ, групи мають бути зіставлені за , а потім повинні продемонструвати диференційовані ймовірності за як функцію групової приналежності.

Форми Однорідне ДФЗ () — найпростіший тип ДФЗ, коли величина умовної залежності залишається відносно незмінною впродовж усього континууму латентної риси (). Відповідне завдання стабільно надає перевагу одній групі на всіх рівнях здібності . У межах теорії відгуку завдання (ТВЗ) це спостерігається тоді, коли обидві характеристичні криві завдання (ХКЗ, ) мають однакові параметри розрізнювальності, проте відрізняються за параметрами складності (тобто та ), як зображено на рисунку 1.

Натомість, неоднорідне ДФЗ () є цікавішим випадком. На відміну від стабільної переваги, яку завдання надає референтній групі на всьому континуумі здібності, умовна залежність зміщується та змінює напрямок у різних місцях континууму . Наприклад, завдання може надавати референтній групі незначну перевагу на нижньому кінці континууму, але значно більшу на верхньому. Крім того, на відміну від однорідного ДФЗ, у випадку неоднорідного ДФЗ завдання може водночас відрізнятися для двох груп за розрізнювальністю та за складністю (тобто та ).

Ще складнішим випадком є «перехресне» неоднорідне ДФЗ (). Як показано на рисунку 2, таке явище виникає, коли завдання надає перевагу референтній групі на одному кінці континууму , а фокусній групі — на іншому. Відмінності між ХКЗ вказують на те, що респонденти з цих двох груп, які мають однаковий рівень здібності, мають відмінні ймовірності правильно відповісти на завдання. Якщо криві відрізняються, але не перетинаються, це свідчить про однорідне ДФЗ. Проте, якщо ХКЗ перетинаються в якійсь точці шкали , має місце неоднорідне ДФЗ.

Процедури для виявляння ДФЗ

Процедура Ментела — Гензеля Однією з поширених процедур для виявляння ДФЗ є підхід Ментела — Гензеля (МГ, ). Процедура МГ — це підхід на основі таблиці спряженості критерію хі-квадрат, який аналізує відмінності між референтною та фокусною групами для всіх завдань тесту, одне за одним. Континуум здібності, визначений загальними тестовими оцінками, розділяють на інтервалів, що потім слугує основою для зіставляння учасників обох груп. На кожному з інтервалів використовують таблицю спряженості 2 × 2, щоби порівняти обидві групи на окремому завданні. Рядки таблиці спряженості відповідають груповій приналежності (референтна чи фокусна група), а стовпці — правильній чи неправильній відповіді. Наступна таблиця подає загальний вигляд для одного завдання на -тому інтервалі здібності.

+ Досліджуване завдання Правильно (1) Неправильно (0) Разом Референтна Фокусна Разом

Примітка. , , і відповідають спостережуваним частотам у відповідних клітинках. Індекс відповідає інтервалу здібності.

Співвідношення шансів Наступним кроком в розрахунку статистики МГ є використання даних із таблиці спряженості для отримання співвідношення шансів цих двох груп щодо досліджуваного завдання на певному інтервалі . Це виражають через і , де позначує частку правильних відповідей, а  — частку неправильних відповідей як для референтної (), так і для фокусної () груп. У процедурі МГ отримуване співвідношення шансів позначують через , що може набувати значень від до . Значення вказує на відсутність ДФЗ, тобто подібну успішність обох груп. Значення, більше за , свідчить, що референтна група перевершила фокусну групу, або сприйняла завдання як менш складне порівняно з нею. З іншого боку, якщо отримане значення менше за , це вказує, що завдання було менш складним для фокусної групи.

З використанням змінних із наведеної вище таблиці спряженості розрахунок виглядає так:

Наведений вище розрахунок стосується окремого завдання на конкретному інтервалі здібностей. Сукупнісну оцінку можливо розширити, щоби вона відображала загальне співвідношення шансів над усіма інтервалами здібності для певного завдання. Загальний шансів позначують через і обчислюють за формулою

для всіх значень , де  — загальний розмір вибірки на -му інтервалі.

Отримане значення часто стандартизують за допомогою логарифмічного перетворення, центруючи його навколо 0. Новий перетворений оцінювач обчислюють так:

Відтак, отримане значення 0 вказуватиме на відсутність ДФЗ. Важливо зазначити, що знак «мінус» у цьому рівнянні змінює інтерпретацію значень, менших або більших за 0. Менші за 0 значення вказують на перевагу референтної групи, тоді як більші за 0 значення вказують на перевагу фокусної групи.

Теорія відгуку завдання Теорія відгуку завдання (ТВЗ, ) — ще один широко використовуваний метод для оцінювання ДФЗ. ТВЗ дозволяє докладно аналізувати відгуки окремих завдань тесту або вимірювального інструменту. Як зазначено раніше, ДФЗ досліджує ймовірність правильної відповіді або схвалення завдання, залежно від латентної риси чи здібності. Оскільки ТВЗ аналізує монотонний зв'язок між відповідями та латентною рисою чи здібністю, цей підхід добре підходить для дослідження ДФЗ.

Три основні переваги використання ТВЗ для виявляння ДФЗ: Порівняно з класичною теорією тестування, оцінки параметрів у ТВЗ менш залежні від характеристик вибірки. Статистичні властивості завдань можливо виразити з більшою точністю, що підвищує точність інтерпретації ДФЗ між двома групами. Ці статистичні властивості завдань можливо виражати графічно, що покращує інтерпретовність і розуміння того, як завдання функціонують по-різному для різних груп.

Щодо ДФЗ, оцінки параметрів завдань обчислюють та аналізують графічно за допомогою характеристичних кривих завдання (ХКЗ, ), також відомих як функції відгуку завдання (ФВЗ, ). Після огляду ХКЗ й виникнення підозри на ДФЗ застосовують статистичні процедури для перевірки відмінностей між оцінками параметрів.

ХКЗ подають математичні функції, що описують зв'язок між положенням на континуумі латентної риси та ймовірністю вибору певної відповіді. На рис. 3 проілюстровано цей зв'язок у вигляді логістичної функції. Респонденти, що мають нижчий рівень латентної риси чи менші здібності, мають нижчу ймовірність правильної відповіді чи схвалення завдання, особливо якщо його складність зростає. Відтак, респонденти з вищими значеннями латентної риси чи здібності мають вищу ймовірність правильної відповіді чи схвалення завдання. Наприклад, в оцінюванні депресії респонденти з високим рівнем депресії матимуть більшу ймовірність схвалення відповідного твердження, ніж ті, хто має нижчий рівень депресії. Аналогічно, респонденти з вищими математичними здібностями мають вищу ймовірність правильної відповіді на математичне завдання порівняно з тими, в кого ці здібності нижчі.