Современная теория тестирования — (иногда по-русски — Современная теория тестов, Теория ответов на задания, Теория моделирования и параметризации педагогических тестов) набор методов, позволяющий оценить вероятность правильного ответа испытуемых на задания различной трудности. Современная Теория Тестирования используется для того чтобы улучшить и оптимизировать процесс разработки, проведения и статистической обработки результатов измерений в образовании, психологии, социологии и других социальных науках.
В русском языке название item response theory переводится различным образом. Ю.Нейман и В.Хлебников предлагают называть её «Теория моделирования и параметризации педагогических тестов» (ТМППТ)Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. — М.: Прометей. − 169 с. . В. Аванесов — «Математико-статистическая теория оценки латентных параметров заданий теста и уровня подготовленности испытуемых»Аванесов В. С. Применение тестовых форм в Rasch Measurement // Педагогические измерения, 2005, № 4. — С.3-20. . Однако одним из наиболее удачных способов перевода является «Современная Теория Тестирования», поскольку её модели описывают не тестовые задания и не тест сам по себе, а результат (а многие современные модели — и процесс) взаимодействия респондентов и заданий.
В психометрике Современная Теория Тестирования (IRT) является парадигмой для проектирования, анализа данных и оценки тестов, опросников и подобных измерительных инструментов. Эта теория предполагает, что существует возможность численно описать характеристики (параметры) респондентов, и характеристики (параметры) заданий, которые взаимодействуют между собой согласно уравнению модели, и определяют вероятность наблюдения каждого возможного ответа на задание. Для того, чтобы оценить эти параметры заданий и респондентов используются различные статистические модели. В отличие от более простых альтернатив для создания измерительных инструментов (например, Классической Теории Тестирования), Современная Теория Тестирования не предполагает, что каждый вопрос одинаково трудный. Это отличает IRT от, например, предположения Ликерта в шкалировании о том, что «все задания считаются репликациями друг друга или другими словами: задания считаются взаимозаменяемыми»A. van Alphen, R. Halfens, A. Hasman and T. Imbos. (1994). Likert or Rasch? Nothing is more applicable than good theory. Journal of Advanced Nursing. 20, 196—201. Напротив, современная теория тестирования рассматривает параметры каждого задания как информацию, различающую задания внутри теста.
Таким образом, IRT моделирует вероятность ответа каждого респондента на каждое задание теста. Фундаментальной характеристикой современной теории тестирования и ключевой чертой её определения является идея статистического разделения параметров респондентов и заданий. То есть, вероятность правильного ответа на задание является результатом взаимодействия латентных параметров респондента и задания. Конкретный способ их взаимодействия определяется допущениями исследователя и транслируется в уравнение конкретной математической функции — модели современной теории тестирования.
Модели современной теории тестирования тесно связаны с факторным анализом, обобщенными линейными моделями смешанных эффектов, моделями анализа латентных классов и когнитивной диагностикиhttps://psycnet.apa.org/record/2008-16924-004, сетевыми моделями из статистической физики (полями МарковаState of the aRt personality research: A tutorial on network analysis of personality data in R — ScienceDirect, моделями Изинга, Кюри-Вейса и пр.), нейросетевыми моделями (ограниченными машинами БольцманаOSF и автокодировщиками), и отдельными методами наук о данных (модельными методами коллаборативной фильтрацииMultidimensional Item Response Theory in the Style of Collaborative Filtering | Psychometrika (иногда, превосходя методы факторизации матриц для рекомендательных системRecommendation with item response theory | Behaviormetrika), рейтингом ЭлоPsychometrics of an Elo-based large-scale online learning system — ScienceDirect и моделью Брэдли-Тэрриhttps://psycnet.apa.org/record/2011-08042-001). Современные модели IRT позволяют моделировать новые источники информации (например, время ответов, попытки решения заданийНовые источники информации в компьютерном тестировании | Tomsk state university Research library); комплексные нелинейные (например, потолочные) зависимости между различными латентными переменными; моделировать эффекты рейтеров, которые начисляют баллы за открытые ответы (и позволяют достигать инвариантности итоговых оценок способности относительно рейтера); моделировать композитные и многомерные конструкты; моделировать изменения в уровне латентной переменной во времени; использовать дискретные оценки способности, превращающие модель ранжирования в классификатор, и т. д. На сегодняшний день, IRT — одна из самых передовых и теоретически обоснованных областей вычислительных наук о поведении.
В практике, IRT часто применяется для анализа того, насколько хорошо работает инструмент измерения в целом, и насколько хорошо работают отдельные задания внутри этого инструмента. Наиболее распространённая область применения современной теории тестирования — образование, где психометрики используют её для разработки и дизайна экзаменов, поддержки и обновления банков заданий для экзаменовHambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of Item Response Theory. Newbury Park, CA: Sage Press.. В этой области, в силу высоких ставок решений, принимаемых по результатам тестирования, доказательство качества измерительного инструментария является крайне важным элементом ответственности разработчика и конкурентным преимуществом его инструмента. Модели Современной Теории Тестирования занимают в такой аргументации одно из ключевых мест.
История Общим источником для создания IRT послужила так называемая логистическая функция вида , известная в биологической науке с 1844 года. С тех пор она широко применялась в биологии для моделирования прироста растительной массы или роста организмов. Как модель психологического и педагогического измерения она начала применяться, начиная с 50-х годов XX столетия. У истоков развития моделей IRT лежали стремление визуализировать формальные характеристики тестовых заданий, попытки преодолеть многочисленные недостатки классической теории тестов, повысить точность измерения и, наконец, стремление оптимизировать процедуру контроля за счёт адаптации теста к уровню подготовленности студента с помощью компьютера.
Первоначальные усилия по развитию IRT предпринимались в 1950-х и 1960-х годах. Эти усилия связаны с именами сотрудника организации Educational Testing Service Фредерика Лорда, датского математика Георга Раша и австрийского социолога Пола Лазарсфельда. Тогда же возник преимущественно идеологический раскол, во многом потерявший релевантность в наши дни, между подходами Раша и Лорда. В то время, как Лорд стремился подобрать психометрическую модель, которая находилась бы в максимальном согласии с данными, даже жертвуя некоторыми желательными математическими свойствами модели, Раш стремился глубоко объяснить предварительно очищенные данные с помощью моделей менее гибких, но обеспечивающих удобные свойства для оценок параметров. Ключевыми фигурами, развивавшими модели из семейства моделей Раша, являются Бенджамин Райт и Дэвид Андрич.
В числе первых предпосылок к созданию IRT стали те результаты исследовательской работы Альфред Бине и Теодор СимонBinet A., Simon T.H. The Development of Intelligence in Young Children. Vineland, NJ: The Training School, 1916., в которых было отражено стремление авторов выявить — как, образно говоря, «работают» те задания, которые они давали детям разного возраста. Расположив затем на координатной плоскости точки, где по оси абсцисс откладывался возраст (в годах), а по оси ординат — доля правильных ответов в каждой возрастной группе испытуемых, авторы увидели, что полученные точки, после усреднения по каждой группе, напоминают кривую, позже названной характеристической кривой заданий (Item Characteristic Curve, ICC)Item Characteristic Curve — an overview | ScienceDirect Topics.
В 1936 году Марион Ричардсон провела обширное эмпирическое исследование, опросив 1200 студентов по 803 заданиям, в процессе которого студенты, в зависимости от полученного ими тестового балла, были разделены на 12 групп, по сто человек в каждой. Она первой обратила внимание на различающуюся крутизну кривых тестовых заданий и предложила рассматривать меру крутизны как примерную оценку дифференцирующей способности заданияRichardson Marion W. The Relation Between the Difficulty and the Difference Validity of a Test / Psychometrika, 1936, 1: 2, 33-49.. Ричардсон была, по-видимому, первой, осознавшей плодотворность использования усреднённых точек для графической презентации формальных характеристик заданий проектируемых тестовRichardson M.W. Notes on the Rationale of Item Analysis./Psychometrika, 1936,1: 169-76..
Функция ответа на тестовое задание
Функция ответа на тестовое задание (Item Response Function, IRF) описывает математическое ожидание балла по заданию как функцию от уровня способности респондента. Когда задание является дихотомическим (допустимые баллы только 0 (полностью неправильно) или 1 (полностью правильно)), IRF описывает вероятность правильного решения задания в зависимости от уровня способности респондента. Графическое отображение IRF — это характеристическая кривая задания (Item Characteristic Curve, ICC). В случае т. н. внутренне-многомерных моделей IRT (within-item multidimensionality, когда ответ на задание зависит от более чем одной способности респондентаInternational Journal of Assessment Tools in Education " Submission " Using ACER ConQuest program to examine multidimensional and many-facet models), ICC становится характеристической поверхностью задания (Item Characteristic Surface, ICS).
Понятие IRF является базовым для понимания IRT. Сама по себе форма ICC задается уравнением модели, в котором варьируются параметры респондентов и заданий. Соответственно, IRF варьируются от задания к заданию в рамках одной модели, а при переходе от одной модели IRT к другой, IRF могут получать новые свойства. В разных моделях IRT варьируется как количество и природа (непрерывная, дискретная) параметров респондентов и заданий, так и способы их взаимодействия. Однако, фундаментально, уравнение любой модели IRT стремится описать вероятность правильного ответа. В случае политомических заданий — вероятность наблюдения каждой из допустимых в задании категорий как ответа каждого респондента.
Выделяют ожидаемые (модельные) и эмпирические IRF. В то время, как модельная IRF — математическая функция, построенная исходя из оценок параметров задания, эмпирическая IRF строится исходя из данных. Сравнение эмпирической и ожидаемой IRF (с учетом доверительного интервала или другого способа оценить статистическую значимость их различий) является основой для оценки качества задания. В случае, если они различаются статистически значимо, изменение вероятности правильного ответа с ростом способности плохо описывается моделью. В таком случае, сторонники Раш-моделирования заявляют, что само задание имеет неудовлетворительное качество и требует переработки. В то же время, сторонники моделирования, следующего из традиций Лорда, заявляют, что психометрическая модель является ограниченной и плохо подходящей данным, что мотивирует выбор более сложной модели, способной описать «работу» такого задания лучше.