Тест несоответствия средних (Granularity-related inconsistency of means, GRIM-test) — это статистический тест, используемый для выявления несоответствий в анализе наборов данных.
Тест основан на том, что для набора данных, содержащего N целых чисел, арифметическое среднее (обычно называемое просто средним) ограничено несколькими возможными значениями: оно всегда должно быть представимо в виде дроби с целым числителем и знаменателем N. Если опубликованное среднее значение не соответствует этому описанию, значит, в данных есть ошибка. Такие ошибки называются «несоответствиями», чтобы подчеркнуть, что их происхождение первоначально неизвестно.
Несоответствия теста могут быть вызваны случайными ошибками при вводе данных, опечатками или даже научным мошенничеством. Этот тест особенно полезен в таких областях, как психология, где исследователи обычно работают с небольшими группами, а измерения часто представляют собой целые числа
Тест несоответствия средних был предложен Ником Брауном и Джеймсом Хизерсом в 2016 году на фоне растущего осознания кризиса воспроизводимости в некоторых областях науки.
Процедура Тест прост в выполнении. Для каждого опубликованного среднего значения в исследовании определяется объем выборки (N), после чего вычисляются все возможные дроби со знаменателем N. Затем среднее значение сверяется с этим списком (при этом учитывается, что значения могут быть округлены неоднородно: например, среднее 1,125 может быть представлено как 1,12 или 1,13). Если среднее значение отсутствует в списке возможных дробей, оно помечается как математически невозможное.
Пример Рассмотрим эксперимент, в котором игральная кость бросается 20 раз. Каждый бросок дает целое число от 1 до 6, а математическое ожидание равно 3,5. Затем результаты всех бросков усредняются, и среднее значение указывается как 3,48. Это значение близко к ожидаемому и, на первый взгляд, подтверждает гипотезу. Однако тест GRIM показывает, что указанное среднее значение математически невозможно: при делении любого целого числа на 20 и округлении до двух знаков после запятой результат всегда принимает форму X.X0 или X.X5. Невозможно разделить целое число на 20 так, чтобы во втором знаке после запятой стояла «8».
Интерпретация и ограничения Даже если данные не проходят тест GRIM, это не обязательно указывает на манипуляцию. Ошибки в среднем значении могут возникнуть случайно из-за человеческого фактора, опечаток, ошибок вычислений и программирования или неправильного указания размера выборки. Однако это может быть признаком того, что некоторые данные были неправомерно исключены или что среднее значение было искусственно скорректировано для повышения значимости результатов. Расположение ошибок может указывать на их причину: одиночное невозможное среднее значение может быть следствием случайной ошибки, несколько невозможных значений в одной строке таблицы могут свидетельствовать о низком уровне отклика, несколько невозможных значений в одном столбце могут означать, что указанный размер выборки неверен. Разбросанные по таблице ошибки могут указывать на более серьезные проблемы, требующие дополнительного анализа с помощью других статистических тестов.
Применение Браун и Хизерс применили тест GRIM к 260 статьям, опубликованным в журналах Psychological Science, Journal of Experimental Psychology: General и Journal of Personality and Social Psychology. Из этих статей 71 подходила для анализа с помощью теста GRIM; в 36 из них было обнаружено как минимум одно невозможное значение, а в 16 — несколько невозможных значений.
Тест GRIM также сыграл важную роль в выявлении ошибок в публикациях лаборатории Food and Brand Lab Корнеллского университета под руководством Брайана Вансинка. Тест показал, что ряд статей о влиянии цены на потребление в ресторанах с неограниченным количеством еды содержал множество математически невозможных средних значений. Глубокий анализ исходных данных выявил, что во многих случаях размеры выборок были указаны неверно, а расчеты выполнены с ошибками.
Примечания
Внешние ссылки Онлайн-калькулятор теста GRIM
Упрощенный онлайн-калькулятор теста GRIM
Категория:Анализ данных