В статистике и прикладной статистике нормализация может иметь разные значения. В самом простом случае, под нормализацией оценок имеют в виду подгонку значений, измеренных на различных шкалах (например, километры и граммы) к условно общему масштабу, часто перед усреднением. В более сложных случаях нормализация может означать более изощрённые способы подгонки, где пытаются согласовать распределение вероятностей подгоняемых значений. В случае нормализации оценок в образовательном процессе хотят привести распределения к нормальному распределению. Другой подход к нормализации распределений вероятности — это , где квантили различных мер согласуются между собой.

Другое значение нормализации в статистике означает создание смещённых и отмасштабированных версий статистик, суть которых в том, чтобы позволить сравнивать нормализованные значения с соответствующими нормализованными значениями из других датасетов так, чтобы не учитывать эффекты крупных факторов, таких как аномалии временных рядов. Некоторые типы нормализации изменяют только масштаб, чтобы получить значения относительно некоторой величины размера. В терминах шкал измерения, такие отношения имеют смысл только для измерений по шкале отношений (где они осмысленны, при интервальных измерениях имеют смысл только расстояния, но не отношения).

В теоретической статистике, параметрическая нормализация зачастую приводит к центральным величинам — функциям, выборочные распределения которых не зависят от параметров, и к вспомогательным статистикам — центральным величинам, которые могут быть вычислены на основе наблюдений, без знания параметров.

История

Стандартизированная оценка (Z-оценка)

Идея нормализации возникла вместе с изучением нормального распределения Абрахамом де Муавром, Пьер-Симоном Лапласом и Карлом Фридрихом Гауссом с XVIII по XIX век. Название «стандартное» отсылает к частному случаю нормального распределения с математическим ожиданием, равным нулю, и стандартным отклонением, равным единице, то есть к стандартному нормальному распределению. Нормализация в этом случае называется «стандартизацией», что означает масштабирование распределения или набора данных, чтобы получить нулевое среднее и стандартное отклонение, равное одному.

Хотя процесс стандартизации возник во время изучения нормального распределения, результат этого процесса, также известный как Z-оценка, получаемая как разность между значением величины и средним генеральной совокупности, делённая на стандартное отклонение генеральной совокупности, тем самым измеряя количество стандартных отклонений между величиной и генеральным средним, не был сформулирован и популяризирован до Рональда Фишера и Карла Пирсона, трудившихся над идеей как составляющей более широкого аппарата статистического вывода и проверки гипотез в начале XX века.

t-статистика Стьюдента

Уильям Сили Госсет начал корректировку нормального распределения и стандартной оценки на выборках малого размера. Имевший образование по химии и математике в Винчестере и Оксфорде, Госсет устроился на пивоварню Гинесса, в те годы наибольшую в Ирландии, и ему необходимо было установить точный контроль качества. На экспериментах с небольшими выборками Госсет обнаружил, что распределение средних при малом объёме выборки слегка отличалось от распределения средних при большом объёме выборки по нормальному распределению и в сравнении казалось «выше и уже». Эта находка позже была опубликована во внутреннем отчёте Гинесса под названием и была отправлена Карлу Пирсону для последующего обсуждения, которое позже привело к формальной публикации, озаглавленной «Вероятностная ошибка среднего» в 1908 году. Из-за ограничений конфиденциальности Гинесской пивоварни, Госсет опубликовал работу под псевдонимом «Стьюдент». Позже Рональд Фишер улучшил работу Госсета и привёл её к современному виду, а также использовал названия «t-распределение Стьюдента», отсылая тем самым к исправленному нормальному распределению, которое предлагал Госсет, и «t-статистика Стьюдента» — отсылая к статистике критерия, используемой для измерения отклонения оценённого значения параметра от его гипотетического значения, делённого на стандартную ошибку, популяризированную публикацией Фишера.

Масштабирование признаков

Развитие вычислительной техники и в середине XX века сделало нормализацию обязательным шагом для обработки данных с различными единицами измерения. В результате сформировалось масштабирование признаков — совокупность методов, позволяющих привести данные к фиксированному диапазону. К ним относят min-max масштабирование, робастное масштабирование, адаптивное мультиинтервальное шкалирование (AMIS) и другие.

Этот подход к нормализации ориентирован в первую очередь на крупномасштабные данные. Свое дальнейшее развитие и строгую формализацию он получил в сфере машинного обучения, распознавания образов и нейронных сетей ближе к началу XXI века.

.

Пакетная нормализация

Пакетная нормализация была предложена Сергеем Иоффе и Кристианом Сегеди в 2015 году для улучшения эффективности обучения в нейронных сетях.

Примеры В статистике используются разные типы нормализации — безразмерные отношения, построенные из ошибок, остатков, средних и стандартных отклонений, и поэтому инвариантные по масштабу. Некоторые можно сгруппировать как представлено ниже. В терминах шкал измерений, эти отношения имеют смысл только для измерений по шкале отношений (где осмысленны отношения между измерениями), не для интервальных измерений (где имеет смысл только расстояние, но не отношения). См. также :Категория:Статистические отношения. Название Формула Использование Стандартизированная оценка Нормализация ошибок, когда параметры генеральной совокупности известны. Хорошо работает для нормально распределённых генеральных совокупностей t-статистика Стьюдента Отклонение оценённого значения параметра от его гипотетического значения, нормализованное по стандартной ошибке. Нормализация остатков, когда параметры оценены, в частности в регрессионном анализе для различных точек данных. Нормализация моментов с использованием стандартного отклонения в качестве меры масштаба. Коэффициент вариации Нормализация вариации с использованием среднего как меры масштаба, в частности для таких положительных распределений, как экспоненциальное распределение и распределение Пуассона. Мин-макс нормализация Мин-макс масштабирование используется для того, чтобы перевести все значения на отрезок . Это также называется нормализацией к единичному интервалу. Процедура может быть обобщена, чтобы ограничить диапазон значений в наборе данных между двумя произвольными точками и , используя, например, . Некоторые отношения, такие как , также используются для нормализации, но не безразмерной: единицы измерения не исчезают, поскольку это отношение не безразмерно и не инвариантно по масштабу.

Другие типы Некоторые безразмерные нормализации могут использоваться без предположений о распределении, например: Назначение процентилей. Часто используется в стандартизованных тестах. См. также . Нормализация путём добавления или умножения на константу так, чтобы значения лежали в интервале от 0 до 1. Это используется для функций плотности вероятности и применяется, например, в квантовой механике, назначая вероятности .

См. также

Z-оценка Масштабирование признаков

Примечания