Критерии согласия (соответствия)

Для проверки гипотезы о соответствии эмпирического распределения теоретическому закону распределения используются особые статистические показатели - критерии согласия (или критерии соответствия). К ним относятся критерии Пирсона, Колмогорова, Романовского, Ястрем- ского и др. Большинство критериев согласия базируется на использовании отклонений эмпирических частот от теоретических. Очевидно, что чем меньше эти отклонения, тем лучше теоретическое распределение соответствует эмпирическому (или описывает его).

Критерии согласия - это критерии проверки гипотез о соответствии эмпирического распределения теоретическому распределению вероятностей. Такие критерии подразделяются на два класса: общие и специальные. Общие критерии согласия применимы к самой общей формулировке гипотезы, а именно к гипотезе о согласии наблюдаемых результатов с любым априорно предполагаемым распределением вероятностей. Специальные критерии согласия предполагают специальные нулевые гипотезы, формулирующие согласие с определенной формой распределения вероятностей.

Критерии согласия, опираясь на установленный закон распределения, дают возможность установить, когда расхождения между теоретическими и эмпирическими частотами следует признать несущественными (случайными), а когда - существенными (неслучайными). Из этого следует, что критерии согласия позволяют отвергнуть или иодтвердить правильность выдвинутой при выравнивании ряда гипотезы о характере распределения в эмпирическом ряду и дать ответ, можно ли принять для данного эмпирического распределения модель, выраженную некоторым теоретическим законом распределения.

Критерий согласия Пирсона х 2 (хи-квадрат) - один из основных критериев согласия. Предложен английским математиком Карлом Пирсоном (1857-1936) для оценки случайности (существенности) расхождений между частотами эмпирического и теоретического распределений:

где k - число групп, на которые разбито эмпирическое распределение; fi - эмпирическая частота признака в i -й группе; / тс °р - теоретическая частота признака в i-й группе.

Схема применения критерия у} к оценке согласованности теоретического и эмпирического распределений сводится к следующему.

• 1. Определяется расчетная мера расхождения % 2 асч.
• 2. Определяется число степеней свободы.
• 3. По числу степеней свободы v с помощью специальной таблицы определяется %^бл
• 4. Если % 2 асч >х 2 абл, то при заданном уровне значимости а и числе степеней свободы v гипотезу о несущественности (случайности) расхождений отклоняют. В противном случае гипотезу можно признать не противоречащей полученным экспериментальным данным и с вероятностью (1 - а) можно утверждать, что расхождения между теоретическими и эмпирическими частотами случайны.

Уровень значимости - это вероятность ошибочного отклонения выдвинутой гипотезы, т.е. вероятность того, что будет отвергнута правильная гипотеза. В статистических исследованиях в зависимости от важности и ответственности решаемых задач пользуются следующими тремя уровнями значимости:

• 1) а = 0,1, тогда Р = 0,9;
• 2) а = 0,05, тогда Р = 0,95;
• 3) а = 0,01, тогда Р = 0,99.

Используя критерий согласия у}, необходимо соблюдать следующие условия.

• 1. Объем исследуемой совокупности должен удовлетворять условию п > 50, при этом частота или численность группы должна быть не менее 5. Если это условие нарушается, необходимо предварительно объединить небольшие частоты (меньше 5).
• 2. Эмпирическое распределение должно состоять из данных, полученных в результате случайного отбора, т.е. они должны быть независимыми.

Недостатком критерия согласия Пирсона является потеря части первоначальной информации, связанная с необходимостью группировки результатов наблюдений в интервалы и объединения отдельных интервалов с малым числом наблюдений. В связи с этим рекомендуется дополнять проверку соответствия распределений но критерию у} другими критериями. Особенно это необходимо при объеме выборки п ~ 100.

В статистике критерий согласия Колмогорова (также известный как критерий согласия Колмогорова - Смирнова) используется для того, чтобы определить, подчиняются ли два эмпирических распределения одному закону, либо определить, подчиняется ли полученное распределение предполагаемой модели. Критерий Колмогорова основан на определении максимального расхождения между накопленными частотами или частостями эмпирических или теоретических распределений. Критерий Колмогорова исчисляется по следующим формулам:

где D и d - соответственно максимальная разность между накопленными частотами (/-/") и между накопленными частостями (р-р ") эмпирического и теоретического рядов распределений; N - число единиц в совокупности.

Рассчитав значение X, по специальной таблице определяется вероятность, с которой можно утверждать, что отклонения эмпирических частот от теоретических случайны. Если признак принимает значения до 0,3, то это означает, что происходит полное совпадение частот. При большом числе наблюдений критерий Колмогорова способен обнаружить любое отступление от гипотезы. Это означает, что любое отличие распределения выборки от теоретического будет с его помощью обнаружено, если наблюдений будет достаточно много. Практическая значимость этого свойства несущественна, так как в большинстве случаев трудно рассчитывать на получение большого числа наблюдений в неизменных условиях, теоретическое представление о законе распределения, которому должна подчиняться выборка, всегда приближенное, а точность статистических проверок не должна превышать точность выбранной модели.

Критерий согласия Романовского основан на использовании критерия Пирсона, т.е. уже найденных значений х 2 > и числа степеней свободы:

где v - число степеней свободы вариации.

Критерий Романовского удобен при отсутствии таблиц для х 2 . Если К р К? > 3, то неслучайны и теоретическое распределение не может служить моделью для изучаемого эмпирического распределения.

Б. С. Ястремский использовал в критерии согласия не число степеней свободы, а число групп (k ), особую величину 0, зависящую от числа групп, и величину хи-квадрат. Критерий согласия Ястремского имеет тот же смысл, что и критерий Романовского, и выражается формулой

где х 2 - критерий согласия Пирсона; /е гр - число групп; 0 - коэффициент, для числа групп меньше 20 равный 0,6.

Если 1ф акт > 3, расхождения между теоретическими и эмпирическими распределениями неслучайны, т.е. эмпирическое распределение не отвечает требованиям нормального распределения. Если 1ф акт

Для проверки гипотезы о соответствии эмпирического распределения теоретическому закону распределения используются особые статистические показатели - критерии согласия (или критерии соответствия). К ним относятся критерии Пирсона, Колмогорова, Романовского, Ястремского и др. Большинство критериев согласия базируется на использовании отклонений эмпирических частот от теоретических. Очевидно, что чем меньше эти отклонения, тем лучше теоретическое распределение соответствует эмпирическому (или описывает его).

Критерии согласия - это критерии проверки гипотез о соответствии эмпирического распределения теоретическому распределению вероятностей. Такие критерии подразделяются на два класса: общие и специальные. Общие критерии согласия применимы к самой общей формулировке гипотезы, а именно, к гипотезе о согласии наблюдаемых результатов с любым априорно предполагаемым распределением вероятностей. Специальные критерии согласия предполагают специальные нулевые гипотезы, формулирующие согласие с определенной формой распределения вероятностей.

Критерии согласия, опираясь на установленный закон распределения, дают возможность установить, когда расхождения между теоретическими и эмпирическими частотами следует признать несущественными (случайными), а когда - существенными (неслучайными). Из этого следует, что критерии согласия позволяют отвергнуть или подтвердить правильность выдвинутой при выравнивании ряда гипотезы о характере распределения в эмпирическом ряду и дать ответ, можно ли принять для данного эмпирического распределения модель, выраженную некоторым теоретическим законом распределения.

Критерий согласия Пирсона c 2 (хи-квадрат) - один из основных критериев согласия. Предложен английским математиком Карлом Пирсоном (1857-1936) для оценки случайности (существенности) расхождений между частотами эмпирического и теоретического распределений:

Схема применения критерия c 2 к оценке согласованности теоретического и эмпирического распределений сводится к следующему:

1. Определяется расчетная мера расхождения .

2. Определяется число степеней свободы.

3. По числу степеней свободы n с помощью специальной таблицы определяется .

4. Если , то при заданном уровне значимости α и числе степеней свободы n гипотезу о несущественности (случайности) расхождений отклоняют. В противном случае гипотезу можно признать не противоречащей полученным экспериментальным данным и с вероятностью (1 – α) можно утверждать, что расхождения между теоретическими и эмпирическими частотами случайны.

Уровень значимости - это вероятность ошибочного отклонения выдвинутой гипотезы, т.е. вероятность того, что будет отвергнута правильная гипотеза. В статистических исследованиях в зависимости от важности и ответственности решаемых задач пользуются следующими тремя уровнями значимости:

1) a = 0,1, тогда Р = 0,9;

2) a = 0,05, тогда Р = 0,95;

3) a = 0,01, тогда Р = 0,99.

Используя критерий согласия c 2 , необходимо соблюдать следующие условия:

1. Объем исследуемой совокупности должен быть достаточно большим (N ≥ 50), при этом частота или численность группы должна быть не менее 5. Если это условие нарушается, необходимо предварительно объединить небольшие частоты (меньше 5).

2. Эмпирическое распределение должно состоять из данных, полученных в результате случайного отбора, т.е. они должны быть независимыми.

Недостатком критерия согласия Пирсона является потеря части первоначальной информации, связанная с необходимостью группировки результатов наблюдений в интервалы и объединения отдельных интервалов с малым числом наблюдений. В связи с этим рекомендуется дополнять проверку соответствия распределений по критерию c 2 другими критериями. Особенно это необходимо при сравнительно малом объеме выборки (n ≈ 100).

В статистике критерий согласия Колмогорова (также известный, как критерий согласия Колмогорова - Смирнова) используется для того, чтобы определить, подчиняются ли два эмпирических распределения одному закону, либо определить, подчиняется ли полученное распределение предполагаемой модели. Критерий Колмогорова основан на определении максимального расхождения между накопленными частотами или частостями эмпирических или теоретических распределений. Критерий Колмогорова исчисляется по следующим формулам:

где D и d - соответственно максимальная разность между накопленными частотами (f – f ¢) и между накопленными частостями (p – p ¢) эмпирического и теоретического рядов распределений; N - число единиц в совокупности.

Рассчитав значение λ, по специальной таблице определяется вероятность, с которой можно утверждать, что отклонения эмпирических частот от теоретических случайны. Если признак принимает значения до 0,3, то это означает, что происходит полное совпадение частот. При большом числе наблюдений критерий Колмогорова способен обнаружить любое отступление от гипотезы. Это означает, что любое отличие распределения выборки от теоретического будет с его помощью обнаружено, если наблюдений будет достаточно много. Практическая значимость этого свойства не существенна, так как в большинстве случаев трудно рассчитывать на получение большого числа наблюдений в неизменных условиях, теоретическое представление о законе распределения, которому должна подчиняться выборка, всегда приближенное, а точность статистических проверок не должна превышать точность выбранной модели.

Критерий согласия Романовского основан на использовании критерия Пирсона, т.е. уже найденных значений c 2 , и числа степеней свободы:

где n - число степеней свободы вариации.

Критерий Романовского удобен при отсутствии таблиц для . Если < 3, то расхождения распределений случайны, если же > 3, то не случайны и теоретическое распределение не может служить моделью для изучаемого эмпирического распределения.

Б. С. Ястремский использовал в критерии согласия не число степеней свободы, а число групп (k ), особую величину q, зависящую от числа групп, и величину хи-квадрат. Критерий согласия Ястремского имеет тот же смысл, что и критерий Романовского, и выражается формулой

где c 2 - критерий согласия Пирсона; - число групп; q - коэффициент, для числа групп меньше 20 равный 0,6.

Если L факт > 3, расхождениz между теоретическими и эмпирическими распределениями неслучайны, т.е. эмпирическое распределение не отвечает требованиям нормального распределения. Если L факт < 3, расхождения между эмпирическим и теоретическим распределениями считаются случайными.

Обрабатывая независимые измерения случайной величины ξ, мы можем построить статистическую функцию распределения F * (x). По виду этой функции можно принять гипотезу, что истинная теоретическая функция распределения есть F(x). Сами независимые измерения (x 1 , x 2 ,…,x n), образующие выборку, можно рассматривать как одинаково распределенные случайные величины с гипотетической функцией распределения F(x).

Очевидно, между функциями F * (x) и F(x) будут некоторые расхождения. Возникает вопрос – являются ли эти расхождения следствием ограниченности объема выборки или связаны с тем, что наша гипотеза не верна, т.е. действительная функция распределения не F(x), а какая-то другая. Для решения этого вопроса пользуются критериями согласия, суть которых в следующем. Выбирается некоторая величина Δ(F, F *), которая характеризует степень расхождения между функциями F * (x) и F(x). Например, Δ(F, F *)=Sup|F(x)-F * (x)|, т.е. верхняя грань по х модуля разности.

Считая гипотезу верной, т.е. зная функцию распределения F(x), можно найти закон распределения случайной величины Δ(F, F *) (вопроса, как это сделать, мы касаться не будем). Зададим число р 0 столь малое, что осуществление события {Δ(F, F *)>Δ 0 }с этой вероятностью будем считать практически невозможным. Из условия

найдем величину Δ 0 . Здесь f(x) – плотность распределения Δ(F,F *).

Вычислим теперь величину Δ(F, F *)= Δ 1 по результатам

выборки, т.е. най­дем одно из возможных значений случайной величины Δ(F, F *). Если Δ 1 ≥Δ 0 , то это означает, что произошло практически невозможное событие. Объяснить это можно тем, что наша гипотеза не верна. Итак, если Δ 1 ≥Δ 0 , то гипотеза отвергается, а при Δ 1 <Δ 0 , гипотеза может оказаться неверной, но вероятность этого мала.

В качестве меры расхождения Δ(F, F *) можно брать различные величины. В зависимости от этого получаются различные критерии согласия. Например, критерий согласия Колмогорова, Мизеса, Пирсона, или критерий хи-квадрат.

Пусть результаты n измерений оформлены в виде группированного статистического ряда с k разрядами.

РАЗРЯД (x 0 ,x 1) (фактически мы предполагаем, что ошибки измерения распределены равномерно на некотором отрезке). Тогда вероятность попадания в каждый из семи разрядов будет равна . Используя группированный ряд из §11, вычислим Δ(F, F *)= Δ 1 =по формуле (1). В данном случае .

Поскольку в гипотетический закон распределения входят два неизвестных параметра, α и β – начало и конец отрезка, то число степеней свободы будет 7-1-2=4. По таблице распределения хи-квадрат при выбранной вероятности p 0 =10 -3 найдем Δ 0 =18. Т.к. Δ 1 >Δ 0 , то гипотезу о равномерном распределении ошибки измерения придется отбросить.

Опр Критерий проверки гипотезы о предполагаемом законе неизвестного распределения называется критерием согласия.

Имеется несколько критериев согласия: $\chi ^2$ { хи-квадрат } К. Пирсона, Колмогорова, Смирнова и др.

Обычно теоретические и эмпирические частоты различаются. Случай расхождения может быть не случайным, значит и объясняется тем, что не верно выбрана гипотеза. Критерий Пирсона отвечает на поставленный вопрос, но как любой критерий он ничего не доказывает, а лишь устанавливает на принятом уровне значимости её согласие или несогласие с данными наблюдений.

Опр Достаточно малую вероятность, при которой событие можно считать практически невозможным называют уровнем значимости.

На практике обычно принимают уровни значимости, заключённые между 0,01 и 0,05, $\alpha =0,05$ - это $5 { \% } $ уровень значимости.

В качестве критерия проверки гипотезы примем величину \begin{equation} \label { eq1 } \chi ^2=\sum { \frac { ({ n_i -n_i" })^2 } { n_i" } } \qquad (1) \end{equation}

здесь $n_i -$ эмпирические частоты, полученные из выборки, $n_i" -$ теоретические частоты, найденные теоретическим путём.

Доказано, что при $n\to \infty $ закон распределения случайной величины { 1 } независимо от того, по какому закону распределена генеральная совокупность, стремится к закону $\chi ^2$ { хи-квадрат } с $k$ степенями свободы.

Опр Число степеней свободы находят по равенству $k=S-1-r$ где $S-$ число групп интервалов, $r-$ число параметров.

1) равномерное распределение: $r=2, k=S-3 $

2) нормальное распределение: $r=2, k=S-3 $

3) показательное распределение: $r=1, k=S-2$.

Правило . Проверка гипотезы по критерию Пирсона.

1. Для проверки гипотезы вычисляют теоретические частоты и находят $\chi _ { набл } ^2 =\sum { \frac { ({ n_i -n_i" })^2 } { n_i" } } $
2. По таблице критических точек распределения $\chi ^2$ по заданному уровню значимости $\alpha $ и числу степеней свободы $k$ находят $\chi _ { кр } ^2 ({ \alpha ,k })$.
3. Если $\chi _ { набл } ^2 <\chi _ { кр } ^2 $ то нет оснований отвергать гипотезу, если не выполняется данное условие - то отвергают.

Замечание Для контроля вычислений применяют формулу для $\chi ^2$ в виде $\chi _ { набл } ^2 =\sum { \frac { n_i^2 } { n_i" } -n } $

Проверка гипотезы о равномерном распределении

Функция плотности равномерного распределения величины $X$ имеет вид $f(x)=\frac { 1 } { b-a } x\in \left[ { a,b }\right]$.

Для того, чтобы при уровне значимости $\alpha $ проверить гипотезу о том, что непрерывная случайная величина распределена по равномерному закону, требуется:

1) Найти по заданному эмпирическому распределению выборочное среднее $\overline { x_b } $ и $\sigma _b =\sqrt { D_b } $. Принять в качестве оценки параметров $a$ и $b$ величины

$a = \overline x _b -\sqrt 3 \sigma _b $, $b = \overline x _b +\sqrt 3 \sigma _b $

2) Найти вероятность попадания случайной величины $X$ в частичные интервалы $({ x_i ,x_ { i+1 } })$ по формуле $ P_i =P({ x_i

3) Найти теоретические { выравнивающие } частоты по формуле $n_i" =np_i $.

4) Приняв число степеней свободы $k=S-3$ и уровень значимости $\alpha =0,05$ по таблицам $\chi ^2$ найдём $\chi _ { кр } ^2 $ по заданным $\alpha $ и $k$, $\chi _ { кр } ^2 ({ \alpha ,k })$.

5) По формуле $\chi _ { набл } ^2 =\sum { \frac { ({ n_i -n_i" })^2 } { n_i" } } $ где $n_i -$ эмпирические частоты, находим наблюдаемое значение $\chi _ { набл } ^2 $.

6) Если $\chi _ { набл } ^2 <\chi _ { кр } ^2 -$ нет оснований, отвергать гипотезу.

Проверим гипотезу на нашем примере.

1) $\overline x _b =13,00\,\,\sigma _b =\sqrt { D_b } = 6,51$

2) $a=13,00-\sqrt 3 \cdot 6,51=13,00-1,732\cdot 6,51=1,72468$

$b=13,00+1,732\cdot 6,51=24,27532$

$b-a=24,27532-1,72468=22,55064$

3) $P_i =P({ x_i

$ P_2 =({ 3

$ P_3 =({ 7

$ P_4 =({ 11

$ P_5 =({ 15

$ P_6 =({ 19

В равномерном распределении если одинакова длина интервала, то $P_i -$ одинаковы.

4) Найдём $n_i" =np_i $.

5) Найдём $\sum { \frac { ({ n_i -n_i" })^2 } { n_i" } } $ и найдём $\chi _ { набл } ^2 $.

Занесём все полученные значения в таблицу

\begin{array} { |l|l|l|l|l|l|l| } \hline i& n_i & n_i" =np_i & n_i -n_i" & ({ n_i -n_i" })^2& \frac { ({ n_i -n_i" })^2 } { n_i" } & Контроль~ \frac { n_i^2 } { n_i" } \\ \hline 1& 1& 4,43438& -3.43438& 11,7950& 2,659898& 0,22551 \\ \hline 2& 6& 4,43438& 1,56562& 2,45117& 0,552765& 8,11838 \\ \hline 3& 3& 4,43438& -1,43438& 2,05744& 0,471463& 2,0296 \\ \hline 4& 3& 4,43438& -1,43438& 2,05744& 0,471463& 2,0296 \\ \hline 5& 6& 4,43438& 1,56562& 2,45117& 0,552765& 8,11838 \\ \hline 6& 6& 4,43438& 1,56562& 2,45117& 0,552765& 8,11838 \\ \hline & & & & & \sum = \chi _ { набл } ^2 =3,261119& \chi _ { набл } ^2 =\sum { \frac { n_i^2 } { n_i" } -n } =3,63985 \\ \hline \end{array}

$\chi _ { кр } ^2 ({ 0,05,3 })=7,8$

$\chi _ { набл } ^2 <\chi _ { кр } ^2 =3,26<7,8$

Вывод отвергать гипотезу нет оснований.

Для оценки тесноты связи применяются показатели вариации:

1. Общая дисперсия результативного признака - отражает совокупное влияние факторов:

2. Факторная дисперсия результативного признака - отражает вариацию только от воздействия изучаемого фактора х:

Характеризует колеблемость выравненных значений у х от общей средней величины .

3. Остаточная дисперсия отображает вариацию результативного признака у от всœех прочих, кроме х факторов:

Соотношение между факторной и общей отражает меру тесноты связи между х и у.

индекс детерминации – доля факторной дисперсии в общей дисперсии. В случае если это выражение представить как , то R это будет индекс корреляции .

На базе правила сложения дисперсий (=+индекс корреляции можно представить как: или . Индекс корреляции применяется для оценки тесноты связи при всœех формах связи.

Для измерения тесноты линœейной связи применяется линœейный коэффициент корреляции:

Качественная оценка тесноты связи показателœей дается с помощью шкалы Чеддока:

Рассмотрим на условном примере применение регрессионно-корреляционного анализа связи парной корреляции. Имеется выборочная информация о работе 8 гостиниц, у которых различная среднегодовая наполняемость гостиничных номеров и различная рентабельность их деятельности. В результате регрессионно-корреляционного анализа крайне важно определить, существует ли прямая зависимость между наполняемостью гостиничных номеров и если она есть, то насколько она тесная:

Определим параметры уравнения линœейной парной регрессии:

Наше уравнение парной регрессии будет иметь вид:. Подставим в это уравнение эмпирические значения х и рассчитаем теоретические значения 7,61 и т. д.

Теперь определим тесноту связи между наполняемостью гостиниц и рентабельностью их деятельности:

В результате проведенного анализа установлено, что между наполняемостью гостиниц и рентабельностью их деятельности существует прямая весьма высокая зависимость.

На практике часто возникает крайне важно сть произвести оценку близости эмпирических частот к теоретическим. Такую оценку можно произвести с помощью критериев близости, называемых критериями согласия. Наиболее часто применяется для этих целœей – критерий согласия Пирсона (ʼʼхиʼʼ- квадрат), который рассчитывается по формуле:

где f – эмпирические частоты,

Теоретические частоты.

Оценка близости эмпирических частот к теоретическим определяется по вероятности достижения данной величины Р() при случайных отклонениях частот. В случае если вероятность Р() значительно отличается от нуля (больше, чем 0,05), то отклонения эмпирических частот от теоретических можно считать случайными. В случае если Р()< 0,05, то отклонения нельзя считать случайными, а эмпирическое и теоретические распределœения принципиально друг от друга отличаются.

Величина зависит не только от отклонений фактических частот от теоретических, но и от количества групп, на которые разбита совокупность, в связи с этим таблицы критических значений рассчитаны для различных степеней свободы варьирования эмпирических частот (приложение). Стоит сказать, что для нормального распределœения число степеней свободы К=n-3 , где n – число групп.Р(, что значительно превышает 0,05. Это означает, что отклонения фактических частот от эмпирических можно считать случайными, а само распределœение реализации путевок близко к нормальному распределœению.

Приложение 1

Критерии согласия - понятие и виды. Классификация и особенности категории "Критерии согласия" 2017, 2018.