С какой вероятностью случайная величина примет значение превышающее ее 95 квантиль
Обновлено: 20.12.2024
В статье описано как найти среднее значение и стандартное отклонение. Вы узнаете, что такое квантиль и каких он бывает видов, а также, как построить доверительный интервал.
Математическое описание
Смотря на закон распределения, мы можем понять, какова вероятность того или иного события, можем сказать, какова вероятность, что произойдёт группа событий, а в этой статье мы рассмотрим, как наши выводы "на глаз" перевести в математически обоснованное утверждение.
Крайне важное определение: математическое ожидание - это площадь под графиком распределения. Если мы говорим о дискретном распределении - это сумма событий умноженных на соответсвующие вероятности, также известно как момент:
(2) E(X) = Σ(pi•Xi) E - от английского слова Expected (ожидание)
Для математического ожидания справедливы равенства:
Момент степени k:
(5) νk = E(X k )
Центральный момент степени k:
(6) μk = E[X - E(X)] k
Среднее значение
Среднее значение (μ) закона распределения - это математическое ожидание случайной величины (случайная величина - это событие), например, сколько в среднем посетителей заходит в магазин в час:
| Кол-во посетителей | 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| Количество наблюдений | 108 | 22 | 65 | 30 | 21 | 71 | 83 |
| Таблица 1. Количество посетителей в час | |||||||
Чтобы найти среднее значение всех результатов необходимо сложить всё вместе и разделить на количество результатов:
μ = (108 • 0 + 22 • 1 + 65 • 2 + 30 • 3 + 21 • 4 + 71 • 5 + 83 • 6) / 400 = 1179/400 = 2.95
То же самое мы можем проделать используя формулу 2:
μ = M(X) = Σ(Xi•pi) = 0 • 0.27 + 1 • 0.06 + 2 • 0.16 + 3 • 0.08 + 4 • 0.05 + 5 • 0.18 + 6 • 0.21 = 2.95 Момент первой степени, формула (5)
Собственно, формула 2 представляет собой среднее арифметическое всех значений
Итог: в среднем, 2.95 посетителя в час
| Количество посетителей | 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| Вероятность (%) | 27 | 5.5 | 16.3 | 7.5 | 5.3 | 17.8 | 20.8 |
| Таблица 2. Закон распределения количества посетителей | |||||||
Отклонение от среднего
Посмотрите на это распределение, можно предположить, что в среднем случайная величина равна 100±5, поскольку кажется, что таких значений несравнимо больше чем тех, что меньше 95 или больше 105:
График 2. График функции вероятности. Распределение ≈ 100±5Среднее значение по формуле (2): μ = 99.95, но как посчитать, насколько далеко все значения находятся от среднего? Вам должна быть знакома запись 100±5. Что бы получить это значение ±, нам необходимо определить диапазон значений вокруг среднего. И мы могли бы использовать в качестве меры удалённости "разность" между средним и случайными величинами:
но сумма таких расстояний, а следовательно и любое производное от этого числа, будет равно нулю, поэтому в качестве меры выбрали квадрат разниц между величинами и средним значением:
(8) (xi - μ) 2
Соответственно, среднее значение удалённости - это математическое ожидание квадратов удалённости:
(9) σ 2 = E[(X - E(X)) 2 ] Поскольку вероятности любой удалённости равносильны - вероятность каждого из них - 1/n, откуда: (10) σ 2 = E[(X - E(X)) 2 ] = ∑[(Xi - μ) 2 ]/n Она же формула центрального момента (6) второй степени
σ возведена в квадрат, поскольку вместо расстояний мы взяли квадрат расстояний. σ 2 называется дисперсией. Корень из дисперсии называется средним квадратическим отклонением, или среднеквадратическим отклоненим, и его используют в качестве меры разброса:
(11) μ±σ
(12) σ = √(σ 2 ) = √[∑[(Xi - μ) 2 ]/n]
Возвращаясь к примеру, посчитаем среднеквадратическое отклонение для графика 2:
Итак, для графика 2 мы получили:
X = 99.95±6.06 ≈ 100±6 , что немного отличается от полученного "на глаз"
Квантиль
График 3. Функция распределения. Медиана
График 4. Функция распределения. 4-квантиль или квартиль
График 5. Функция распределения. 0.34-квантильДля анализа функции распределения ввели понятие квантиль. Квантиль - это случайная величина при заданном уровне вероятности, т.е.: квантиль для уровня вероятности 50% - это случайная величина на графике плотности вероятности, которая имеет вероятность 50%. На примере с графиком 3, квантиль уровня 0.5 = 99 (ближайшее значение, поскольку распределение дискретно и события со значением 99.3 просто не существует)
- 2-квантиль - медиана
- 4-квантиль - квартиль
- 10-квантиль - дециль
- 100-квантиль - перцентиль
То есть, если мы говорим о дециле (10-квантиле), то это означает, что мы разбили график на 10 частей, что соответствует девяти линяям, и для каждого дециля нашли значение случайной величины.
Также, используется обозначение x-квантиль, где х - дробное число, например, 0.34-квантиль, такая запись означает значение случайной величины при p = 0.34.
Для дискретного распределения квантиль необходимо выбирать следующим образом: квантиль гарантирует вероятность, поэтому, если рассчитанный квантиль не совпадает с одним и значений, необходимо выбирать меньшее значение.
Построение интервалов
Квантили используют для построения доверительных интервалов, которые необходимы для исследования статистики не одного конкретного события (например, интерес - случайное число = 98), а для группы событий (например, интерес - случайное число между 96 и 99). Доверительный интервал бывает двух видов: односторонний и двусторонний. Параметр доверительного интервала - уровень доверия. Уровень доверия означает процент событий, которые можно считать успешными.
Двусторонний доверительный интервал
Двусторонний доверительный интервал строится следующим образом: мы задаёмся уровнем значимости, например, 10%, и выделяем область на графике так, что 90% всех событий попадут в эту область. Поскольку интервал двусторонний, то мы отсекаем по 5% с каждой стороны, т.е. мы ищем 5й перцентиль, 95й перцентиль и значения случайной величины между ними будут являться доверительной областью, значения за пределами доверительной области называются "критическая область"
График 6. Плотность вероятности
График 7. Функция распределения с 5 и 95 перцентилями. Цветом выделен доверительный интервал с уровнем доверия 0.9 График 8. Функция вероятности и двусторонний доверительный интервал с уровнем доверия 90%Доверительный интервал
Левосторонний и правосторонний доверительные интервалы строятся аналогично двустороннему: для левостороннего интервала мы находим перцентиль уровня ['один' минус 'уровень значимости']. Таким образом, для построения доверительного левостороннего интервала уровня значимости 4% нам необходимо найти четвёртый перцентиль и всё, что справа - доверительный интервал, всё что слева - критическая область.
График 9. Левосторонний доверительный интервал с уровнем значимости 4%. Заливкой выделен доверительный интервал
График 10. Правосторонний доверительный интервал с уровнем значимости 4%. Заливкой выделен доверительный интервал
Итого
Среднее значение - математическое ожидание случайной величины, находится по формуле:
μ = E(X) = Σ(pi•Xi)
Среднеквадратичное отклонение - математическое ожидание удалённости значений от среднего, находится по формуле:
σ = √(σ 2 ) = √[∑[(Xi - μ) 2 ]/n]
n-квантиль - разделение функции распределения на n равных отрезков, основные типы квантилей:
- 2-квантиль - медиана
- 4-квантиль - квартили
- 10-квантиль - децили
- 100-квантиль - перцентили
Доверительный интервал уровня α - участок функции вероятности, содержащий α всех возможных значений. Двусторонний доверительный интервал строится отсечением (1-α)/2 справа и слева. Левосторонний и правосторонний доверительные интервалы строятся отсечением области (1-α) слева и справа соответственно.
Построить ряд распределения
Предположим, мы имеем 100 значений и все разные, например: масса тела Сомалийских пиратов. Такой набор данных обрабатывать неудобно, мы даже не можем представить их на обычном графике. Поэтому нам необходимо категоризировать имеющиеся данные и для этого мы делаем следующее:
Запишем наши данные в таблицу:
| 75 | 99 | 75 | 93 | 104 | 84 | 83 | 60 | 105 | 79 |
| 69 | 69 | 84 | 104 | 101 | 71 | 86 | 80 | 92 | 101 |
| 91 | 102 | 77 | 102 | 94 | 87 | 85 | 64 | 68 | 109 |
| 103 | 100 | 110 | 104 | 99 | 95 | 62 | 86 | 96 | 103 |
| 99 | 63 | 94 | 97 | 103 | 78 | 71 | 73 | 75 | 110 |
| 86 | 84 | 86 | 63 | 100 | 76 | 87 | 94 | 83 | 99 |
| 60 | 76 | 84 | 76 | 110 | 75 | 98 | 69 | 66 | 111 |
| 82 | 78 | 74 | 111 | 95 | 73 | 106 | 96 | 100 | 95 |
| 107 | 102 | 88 | 99 | 107 | 98 | 80 | 85 | 97 | 69 |
| 68 | 64 | 76 | 108 | 90 | 71 | 84 | 103 | 100 | 97 |
| Таблица 3. Вес сомалийских пиратов | |||||||||
Данные разобьём на группы, для начала предлагаю разбить на семь интервалов:
Узнаём максимальное и минимальное значения, вычитаем их друг из друга и делим на количество интервалов - получили отрезки:
Максимальное значение: 111
Минимальное значение: 60
Разница: 111 - 60 = 51
Длина интервала: 51 / 7 = 7.29
Теперь посчитаем количество пиратов (весов, я имею ввиду) в каждом интервале:
Вуа-ля, наше распределение на графике:
График 11. Ряд распределения массы тела сомалийских пиратовБонус
Интервалы лучше брать целыми числами, поэтому, если с выбранным количеством интервалов размер выходит нецелым, то можно раздвинуть диапазон значений, пример:
Значение интервала равно 7.29, число не является целым, поэтому отодвигаем верхнюю границу:
Остаток от деления: [(111 - 60) / 7] = 2
Подвинуть на: 5
Новый диапазон: [60;116]
Диапазон можно двигать как вверх, так и вниз, но лучше в обе стороны.
Совет
Принято делить распределение на 7-8 интервалов, но в каждой конкретной ситуации Вы можете выбрать отличное количество интервалов, впрочем, как и сделать их различной длины.
Момент степени k:
Центральный момент степени k:
Среднее значение
| Кол-во посетителей | 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| Количество наблюдений | 114 | 115 | 52 | 52 | 24 | 13 | 30 |
| Таблица 1. Количество посетителей в час | |||||||
Чтобы найти среднее значение всех результатов необходимо сложить всё вместе и разделить на количество результатов:
μ = (114 • 0 + 115 • 1 + 52 • 2 + 52 • 3 + 24 • 4 + 13 • 5 + 30 • 6) / 400 = 716/400 = 1.79
То же самое мы можем проделать используя формулу 2:
μ = M(X) = Σ(Xi•pi) = 0 • 0.29 + 1 • 0.29 + 2 • 0.13 + 3 • 0.13 + 4 • 0.06 + 5 • 0.03 + 6 • 0.08 = 1.79 Момент первой степени, формула (5)
Собственно, формула 2 представляет собой среднее арифметическое всех значений
Итог: в среднем, 1.79 посетителя в час
| Количество посетителей | 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| Вероятность (%) | 28.5 | 28.8 | 13 | 13 | 6 | 3.3 | 7.5 |
| Таблица 2. Закон распределения количества посетителей | |||||||
Отклонение от среднего
Посмотрите на это распределение, можно предположить, что в среднем случайная величина равна 100±5, поскольку кажется, что таких значений несравнимо больше чем тех, что меньше 95 или больше 105:
График 2. График функции вероятности. Распределение ≈ 100±5
но сумма таких расстояний, а следовательно и любое производное от этого числа, будет равно нулю, поэтому в качестве меры выбрали квадрат разниц между величинами и средним значением:
σ возведена в квадрат, поскольку вместо расстояний мы взяли квадрат расстояний. σ 2 называется дисперсией. Корень из дисперсии называется средним квадратическим отклонением, или среднеквадратическим отклоненим, и его используют в качестве меры разброса:
Возвращаясь к примеру, посчитаем среднеквадратическое отклонение для графика 2:
Квантиль
График 3. Функция распределения. Медиана
График 4. Функция распределения. 4-квантиль или квартиль
График 5. Функция распределения. 0.34-квантиль
То есть, если мы говорим о дециле (10-квантиле), то это означает, что мы разбили график на 10 частей, что соответствует девяти линяям, и для каждого дециля нашли значение случайной величины.
Для дискретного распределения квантиль необходимо выбирать следующим образом: квантиль гарантирует вероятность, поэтому, если рассчитанный квантиль не совпадает с одним и значений, необходимо выбирать меньшее значение.
Построение интервалов
Двусторонний доверительный интервал
Первый квартиль
Значение квартиля Q1 находится в интервале 68,98 – 71,70, соответствующего частоте fQ1 = 150:4 = 37,5
Третий квартиль
Значение квартиля находится в интервале 68,98 – 71,70, соответствующего частоте fQ3 = (3*150):4 = 112,5
Квартили непрерывного распределения
Примечание : Подробнее о Функции распределения см. статью Функция распределения и плотность вероятности в MS EXCEL .
Если известна функция плотности вероятности p (х) , то 1-й квартиль можно найти из уравнения:
Например, решив аналитическим способом это уравнение для Логнормального распределения lnN(μ; σ 2 ), получим, что медиана (2-й квартиль ) вычисляется по формуле e μ или в MS EXCEL =EXP(μ). При μ=1, медиана равна 2,718.
Обратите внимание на точку Функции распределения , для которой F(х)=0,5 (см. картинку выше или файл примера , лист Квартиль-распределение) . Абсцисса этой точки равна 2,718. Это и есть значение 2-го квартиля ( медианы ), что естественно совпадает с ранее вычисленным значением по формуле e μ .
Примечание : Напомним, что интеграл от функции плотности вероятности по всей области задания случайной величины равен единице:
Поэтому, линии квартилей ( х=квартиль ) делят площадь под графиком функции плотности вероятности на 4 равные части.
Квартили в MS EXCEL
Чтобы вычислить в MS EXCEL квартили заданного распределения необходимо использовать соответствующую обратную функцию распределения .
При вычислении квартилей в MS EXCEL используются обратные функции распределения : НОРМ.СТ.ОБР() , ЛОГНОРМ.ОБР() , ХИ2.ОБР() , ГАММА.ОБР() и т.д. Подробнее о распределениях, представленных в MS EXCEL, можно прочитать в статье Распределения случайной величины в MS EXCEL .
Например, в MS EXCEL 1-й квартиль для логнормального распределения LnN(1;1) можно вычислить по формуле =ЛОГНОРМ.ОБР(0,25;1;1) , а 3-й квартиль для стандартного нормального распределения по формуле =НОРМ.СТ.ОБР(0,75) .
Моменты случайной величины
Моменты случайно величины описывают различные аспекты характера и формы нашего распределения.
Асимметрия Коэффициент эксцесса трех кривыхКак видно на графике, чем выше значение пики, тем выше коэффициент эксцесса, т.е. у верхней кривой коэффициент эксцесса выше, чем у нижней.
Статистический анализ роста доли дохода в Excel за период
Пример 2. В таблице приведены данные о доходах предпринимателя за год. Доказать, что примерно 75% значений меньше, чем третий квартиль доходов.
Вид исходной таблицы:
Определим 3-й по формуле:
Определим соотношение чисел, меньше полученного числа, к общему количеству значений по формуле:
Анализ статистики случайно сгенерированных чисел в Excel
Пример 3. Имеется диапазон случайных чисел, отсортированный в порядке возрастания. Определить соотношение суммы чисел, которые меньше 1-го квартиля, к сумме чисел, которые превышают значение 1-го квартиля.
Чтобы сгенерировать случайное число в Excel воспользуемся функцией:
После генерации отсортируем случайно сгенерированные числа по возрастанию. Вид исходной таблицы данных со случайными числами:
Формула для расчета имеет следующий вид (формула массива CTRL+SHIFT+ENTER):
Функции СУММ с вложенными функциями ЕСЛИ выполняют расчет суммы только тех чисел, которые меньше и больше соответственно значения, возвращаемого функцией для исследуемого диапазона. Из полученных значений вычисляется частное. Результат расчетов:
Общая сумма чисел исследуемого диапазона, которые меньше 1-го квартиля, составляет всего 8,57% от общей суммы чисел, которые больше 1-го квартиля.
Расчет квартилей в R и SAS
Функция quantile в R использует все девять алгоритмов расчета квантилей, в соответствии с нумерацией, предложенной Hyndman and Fan в работе 1996 г. (рис. 15; если вы не знакомы с R, рекомендую начать с Алексей Шипунов. Наглядная статистика. Используем R! ). Квантиль при i-м методе расчета:
где i – номер метода, 1 ≤ i ≤ 9, (j–m)/n ≤ p < (j–m+1)/n, хj – j-ый порядковый элемент упорядоченного ряда, n – размер выборки, γ является функцией двух параметров: j = floor(np + m) и g = np + m – j, где floor – функция возвращающая наибольшее целое, но всё еще меньшее, чем аргумент функции (аналог в Excel – ОКРВНИЗ.МАТ), m – константа, определяемая типом алгоритма расчета квантиля. Если вас интересуют подробности, обратитесь к справочной системе R.
SAS предлгает 5 методов расчета квантилей.
Расчет децилей для дискретного ряда
Определяем номер дециля по формуле: ,
Если номер дециля – целое число, то значение дециля будет равно величине элемента ряда, которое обладает накопленной частотой равной номеру дециля. Например, если номер дециля равен 20, его значение будет равно значению признака с S =20 (накопленной частотой равной 20).
Если номер дециля – нецелое число, то дециль попадает между двумя наблюдениями. Значением дециля будет сумма, состоящая из значения элемента, для которого накопленная частота равна целому значению номера дециля, и указанной части (нецелая часть номера дециля) разности между значением этого элемента и значением следующего элемента.
Например, если номер дециля равна 20,25, дециль попадает между 20-м и 21-м наблюдениями, и его значение будет равно значению 20-го наблюдения плюс 1/4 разности между значением 20-го и 21-го наблюдений.
Квантили специальных видов
Часто используются Квантили специальных видов:
В качестве примера вычислим медиану (0,5-квантиль) логнормального распределения LnN(0;1) (см. файл примера лист Медиана ).
Это можно сделать с помощью формулы =ЛОГНОРМ.ОБР(0,5; 0; 1)
Квантили стандартного нормального распределения
Необходимость в вычислении квантилей стандартного нормального распределения возникает при проверке статистических гипотез и при построении доверительных интервалов.
Примечание : Про проверку статистических гипотез см. статью Проверка статистических гипотез в MS EXCEL . Про построение доверительных интервалов см. статью Доверительные интервалы в MS EXCEL .
В данных задачах часто используется специальная терминология:
-
Нижний квантиль уровняальфа ( α percentage point) файл примера лист Квантили ).
Для α=0,05, нижний 0,05-квантиль стандартного нормального распределения равен -1,645. Вычисления в MS EXCEL можно сделать по формуле:
Действительно, для α=0,05, верхний 0,05-квантиль стандартного нормального распределения равен 1,645. Т.к. функция плотности вероятности стандартного нормального распределения является четной функцией, то вычисления в MS EXCEL верхнего квантиля можно сделать по двум формулам:
Чтобы пояснить название « верхний» квантиль , построим график плотности вероятности и функцию вероятности стандартного нормального распределения для α=0,05.
Выделенная площадь на рисунке соответствует вероятности, что случайная величина примет значение больше верхнего 0,05-квантиля , т.е. больше значения 1,645. Эта вероятность равна 0,05.
Невыделенная площадь на рисунке соответствует вероятности, что случайная величина примет значение между нижним квантилем уровня α /2 и верхним квантилем уровня α /2, т.е. будет между значениями -1,960 и 1,960 при α=0,05. Эта вероятность равна в нашем случае 1-(0,05/2+0,05/2)=0,95. Если Z 0 попадает в одну из выделенных областей, то нулевая гипотеза отклоняется.
Другими словами, двусторонние α-квантили задают интервал, в который рассматриваемая случайная величина попадает с заданной вероятностью α.
Квантили распределения Стьюдента
Аналогичным образом квантили вычисляются и для распределения Стьюдента . Например, вычислять верхний α/2- квантиль распределения Стьюдента с n -1 степенью свободы требуется, если проводится проверка двухсторонней гипотезы о среднем значении распределения при неизвестной дисперсии ( см. эту статью ).
Для верхних квантилей распределения Стьюдента часто используется запись t α/2,n-1 . Если такая запись встретилась в статье про проверку гипотез или про построение доверительного интервала , то это именно верхний квантиль .
Примечание : Функция плотности вероятности распределения Стьюдента , как и стандартного нормального распределения , является четной функцией.
.2X означает 2 хвоста, т.е. двусторонний квантиль .
Квантили распределения ХИ-квадрат
Вычислять квантили распределения ХИ-квадрат с n -1 степенью свободы требуется, если проводится проверка гипотезы о дисперсии нормального распределения (см. статью Проверка статистических гипотез в MS EXCEL о дисперсии нормального распределения ).
При проверке таких гипотез также используются верхние квантили. Например, при двухсторонней гипотезе требуется вычислить 2 верхних квантиля распределения ХИ 2 : χ 2 α/2,n-1 и χ 2 1- α/2,n-1 . Почему требуется вычислить два квантиля , не один, как при проверке гипотез о среднем , где используется стандартное нормальное распределение или t-распределение ?
Дело в том, что в отличие от стандартного нормального распределения и распределения Стьюдента , плотность распределения ХИ 2 не является четной (симметричной относительно оси х). У него все квантили больше 0, поэтому верхний альфа-квантиль не равен нижнему (1-альфа)-квантилю или по-другому: верхний альфа-квантиль не равен нижнему альфа-квантилю со знаком минус.
Результат равен 20,48. .ПХ означает правый хвост распределения, т.е. тот который расположен вверху на графике функции распределения .
Чтобы вычислить верхний (1-0,05/2)- квантиль при том же числе степеней свободы , т.е. χ 2 1-0,05/2,n-1 и необходимо записать формулу =ХИ2.ОБР.ПХ(1-0,05/2; 10) или =ХИ2.ОБР(0,05/2; 10)
По каким формулам считаются квантили в показательном распределении?
1) Случайная величина X, распределенная по показательному закону, задана плотностью вероятностей
f(x) = / 0 при x<0
\ 2e^(-2x) при x>=0
Определить 10%-ную квантильслучайной величины
2) Случайная величина X, распределенная по показательному закону, задана функцией распределения
F(x) = 0 при x<0.
1-e^(-0,4x) при x>=0
Найти квантиль порядка 0,99 СВ Х
Помощь в написании контрольных, курсовых и дипломных работ здесь.
Эксперт 94731 / 64177 / 26122 Ответы с готовыми решениями:Вероятность в показательном распределении
По известному «правилу трех сигм» вероятность отклонения случайной величины от своего.
Найти квантили: 0.1, 0.25, 0.5, 0.75
Посчитайте пожалуйста квантили. using System; using System.Collections.Generic; using.
Лишний корень в показательном уравнении
Вечер добрый. Решал это уравнение, в итоге получилось два корня: х=8 и х=3. При проверке х=3 не.
А банеры как ссылки считаются?
Если я повешу банер, это придаст какой-то вес сайту? Если да, то есть ли различие - тематический/не.
F(x) = 0 при x<0.
1-e^(-0,4x) при x>=0
Найти квантиль порядка 0,99 СВ Х 1 / 1 / 0 А как получилось 0,99? 1711 / 958 / 137 Это значение задано вами в условии. Далее по определению. Эксперт 87844 / 49110 / 22898
Помощь в написании контрольных, курсовых и дипломных работ здесь.
Как считаются внешние ссылки?
Коллеги! Непонятно, сервис оценки морд говорит, что у меня 7 внешних ссылок с морды, а я вместе.
Квантили стандартного нормального распределения erf
Здравствуйте, подскажите в ошибка, надо посчитать квантили стандартного нормального распределения .
Запрос, Общие Итоги, Не Понимаю Как Считаются
Добрый день! Раньше я думал что знаю, что такое итоги. Думал, что Итоги это то же самое, что.
Немецкий язык. Как считаются слова в словаре?
ВОПРОС Я обратил внимание на то, что словари практически одного объёма имеют разное число слов.
Как сделать вырез на объемном амплитудном распределении
Есть объемное амплитудное распределение. Как на нем получить вырез, как на двумерных сечениях.
Как понять, что выборка данных принадлежит определенному распределению? Есть 2 метода: аналитический тест Колмогорова-Смирнова (тест Шапиро-Уилка для нормального) и графический метод при помощи графика квантиль-квантиль плот.
Чем так замечателен второй вариант? Q-Q plot позволяет кроме принадлежности:
оценить степень отклонения данных от теоретического распределения
графически проиллюстрировать такие параметры как расположение данных, масштаб и скошенность. Читаем: медиану, дисперсию и наклон функции плотности распределения.
сравнить две выборки между собой
делать выводы, не основываясь на таких спорных показателях как p.value.
Фактически, p.value в случае Q-Q Plot будет оценивать человеческий мозг на основе визуального изучения.
Графический метод является мощнейшим инструментом анализа, но как сказано в англоязычной статье википедии про Q-Q Plots, требует серьезных навыков для интерпретации. В данной статье я представляю дорожную карту пути к пониманию квантильных графиков.
С чего начинать? Сперва стоит посмотреть видео на YouTube от StatQuest. Это тот самый автор, который на обложке видеороликов пишет ". Clearly Explained". Если у вас Яндекс-браузер, то вы можете смотреть его видео почти на русском. Есть упомянутая статья в википедии, а также отличный текст на Медиуме. Мне показалось, что это лучшее, что можно найти в поиске по теории, если просто вбивать в строку браузера "Understanding QQ-Plots". Напишите в комментариях вашу любимую статью по квантильным графикам.
Несмотря на замечательные материалы, которые я упомянул, у меня не сложилось полноценного понимания QQ-Plots. Я до сих пор не могу с ходу представить в голове распределение, если мне показать квантильный график. Но в процессе их изучения я смог осознать несколько важных тезисов, с которыми и хочу вас познакомить при помощи визуализаций на Wolfram Mathematica.
В статье я представляю идеальные квантильные графики. Выводы, сделанные на их основе легко переносятся на соответствующие распределения выборочных данных в случае большого их объема (см. Рис. 1). На графиках в статье по горизонтальной оси я буду откладывать только теоретические квантили стандартного нормального распределения.
1. Квантили
Начнем с трех важнейших определений: дискретный квантиль выборки, дискретный квантиль функции плотности распределения и квантиль-функция.
Квантиль дискретной выборки — это одна из точек, делящих упорядоченную последовательность чисел на равные части.
Рис. 1: (а) и (б) Иллюстрация возможных квантилей выборки. (в) Иллюстрация квантилей, используемых для построения Q-Q Plot — самих значений выборки.
Обращаю ваше внимание, что понятия 0.25 квантиль, 1 квартиль и 25 персентиль обозначают одно и то же, как и 2 квартиль, 0.5 квантиль и 50 персентиль.
Квантиль непрерывного распределения — это одна из точек, делящих функцию плотности распределения на участки, вероятность попадания в которые одинакова, то есть на участки одинаковой площади.
Рис. 2: Иллюстрация квантилей непрерывного распределения.
Квантиль-функция — это функция, которая по значению вероятности возвращает такое число (квантиль) , что вероятность того, что случайная величина примет значение меньше равняется.
Рис. 3: Иллюстрация квантиль-функции.
Можно представлять себе квантиль-функцию непрерывного распределения, как зависимость арифметического уровня воды в вазе, стенками которой является функция плотности вероятности от объема налитой воды. Эта интерпретация хорошо показана в видео одного бразильского инструктора по статистике.
2. Главный квантильный график
Для начала построим базовый Q-Q Plot — теоретических квантилей стандартного нормального распределения от теоретических квантилей стандартного нормального распределения. На следующей картинке (рисунок слева) в виде непрерывной прямой показана зависимость этих теоретических квантилей. Горизонтальные прямые делят распределение оси y на 8 равных по площади промежутков, а вертикальные прямые делят распределение на оси x на 8 равных промежутков и визуализируют появление непрерывной прямой, которую вы наблюдаете.
На рисунке справа я тоже построил квантильный график, но в этом случае по оси y отложил квантили выборки из 200 чисел, случайно выбранных из стандартного нормального распределения. Обращаю ваше внимание, что в случае квантильного графика выборки, за квантиль выбирается каждая точка наших данных, как показано в нижней части на рисунке 1. Далее в статье я буду опускать построение выборочного квантильного графика. Повторюсь, что на больших объемах выборки квантильный график будет полностью повторять теоретическую зависимость.
Как мы видим, в случае одинаковых распределений Q-Q Plot представляет собой прямую линию , причем масштаб нормальных распределений не имеет значения, главное, чтобы у них совпадали средние значения и стандартное отклонение. Этот вывод переносится на случай произвольных распределений.
3. Физический смысл коэффициентов прямой
Рис. 5: Зависимость теоретических квантилей нормального распределения N(5, 1) от теоретических квантилей стандартного нормального N(0, 1).
Что произойдет с прямой, если у распределения на оси y поменять среднее значение (и медиану, соответственно)? Построенная прямая сместится таким образом, чтобы медиане квантилей на оси x соответствовала медиана квантилей на оси y. На рисунке слева визуально ничего не изменилось, только по оси y отложены квантили нормального распределения со средним 5 стандартным отклонением 1.
При построении Q-Q Plot от теоретических квантилей стандартного нормального распределения значение квантильной зависимости в нуле имеет смысл медианы распределения, которое мы строим на оси y.
А что произойдет с прямой, если у распределения на оси y поменять стандартное отклонение?
Рис. 6: Зависимость теоретических квантилей (а) нормального распределения N(0, 0.5) и (б) нормального распределения N(0, 2) — от теоретических квантилей стандартного нормального распределения N(0, 1).
Ответ представлен на Рисунке 6. Поигравшись с параметрами можно сделать следующий вывод:
При построении Q-Q Plot от теоретических квантилей стандартного нормального распределения тангенс наклона прямой имеет смысл стандартного отклонения распределения, которое мы строим на оси y. Если прямая положе, чем y = x (Рис. 4а), то нормальное распределение, построенное на вертикальной оси менее дисперсно, чем распределение, построенное на горизонтальной оси. Если прямая круче, чем y = x (Рис. 4б), то распределение, построенное не вертикальной оси более дисперсно, чем распределение, построенное на горизонтальной оси.
Мы разобрались с основными понятиями и выяснили, что QQ-Plot нормального распределения или выборки из нормального распределения хорошо визуализирует медиану и стандартное отклонение, чем являются коэффициенты прямой.
4. Линия главного тренда на примере скошенных распределений
Все бы хорошо, да кроме нормальных распределений есть еще много других. Если в случае построения околонормального распределения все точки стелятся вдоль прямой линии как на Рис. 4б (коэффициенты которой очень легко интерпретируются), то в случае, например, скошенных распределений точки на прямую ложиться не будут.
При построении Q-Q Plot многие программные пакеты подбирают и изображают некоторую прямую, которая называется линией главного тренда (англ. Reference Line).
Рис. 7: (а) Зависимость квантилей скошенного вправо нормального распределения SkewNormalDistr(0, 1, 3) и (б) скошенного влево нормального распределения SkewNormalDistr(0, 1, -3) — от теоретических квантилей стандартного нормального распределения N(0, 1).
Intercept и slope этой контрольной прямой имеют смысл среднего и стандартного отклонения нормального распределения, "наилучшим образом" подходящего к нашим данным. Как написано в замечательном гайде по q-q plots на языке SAS есть 3 способа это сделать:
Провести прямую по двум точкам: через 1 и 3 квартили.
Провести прямую методом наименьших квадратов.
К выборочным данным подобрать среднее и стандартное отклонение генеральной совокупности, используя метод максимального правдоподобия и провести прямую, иллюстрирующую зависимость теоретических квантилей подобранного идеального нормального распределения от теоретических квантилей стандартного нормального (или любого другого, используемого при построении).
В первом случае "идеальная прямая" будет соответствовать нормальному распределению со средним, равным среднему значению 1 и 3 квартилей выборки и стандартным отклонением, равным отношению межквартильного размаха распределения на оси y и межквартильного размаха распределения на оси x.
где IQR(x) и IQR(y) — межквартильный размах распределений, построенных на осях y и x соответственно. Для стандартного нормального распределения IQR(x) примерно равен 1.35.
Во втором случае тангенс наклона прямой будет равен произведению корреляции квантилей изображенных распределений — на стандартное отклонение распределения на оси y.
где corr — корреляция, а sd — стандартное отклонение. Это следует из формул для коэффициентов регрессионной прямой, а также из того факта, что для стандартного нормального распределения sd(x) = 1.
Я не нашел подтверждения полученных умозаключений в литературе и не представляю, как использовать эту информацию в реальном анализе.
Разные программные пакеты строят эту линию, используя один из указанных подходов. Если есть большая потребность узнать методы построения, можно заглянуть в документацию. Но если это не принципиально, можно ориентироваться на главную идею: линия главного тренда представляет прямую идеального нормального распределения для наших данных.
Выводы:
Если оба конца квантильного графика находятся выше прямой главного тренда, то скорее всего это распределение скошено вправо.
Если оба конца квантильного графика находится ниже прямой главного тренда, то скорее всего это распределение скошено влево.
5. Изогнутые Q-Q Plots: Равномерное, Бимодальное и t-распределения.
Следующие 4 графика предназначены для настройки машинного обучения в голове. С помощью них можно научиться отличать равномерное распределение от двугорбого.
Рис. 8: Зависимость теоретических квантилей (a) равномерного распределения Uniform(-1, 1) (б) равномерного распределение Uniform(-2,2) (в) бимодального распределения из двух нормальных N(-1,0.5) и N(1, 0.5) и (г) бимодального распределения из двух нормальных N(-1, 0.3) и N(1, 0.3) — от теоретических квантилей стандартного нормального распределения N(0, 1)
Квантиль-квантиль плот для равномерного и бимодальных распределений представляют собой - Образную кривую. В случае равномерного распределения кривая стелется вдоль линии главного тренда, а в случае бимодального пересекает ее. Обращаю также ваше внимание на поведение буквы в нуле в случае бимодального распределения. Если разрыв между горбами велик, то квантильная зависимость в этом месте становится почти вертикальной.
Стоит прямо здесь научиться распознавать распределение Стьюдента, которое, как известно имеет более толстые хвосты, по сравнению со стандартным нормальном. Внимание на экран.
Рис. 9: Зависимость теоретических квантилей (а) распределения Стьюдента с 2 степенями свободы и (б) распределения Стьюдента с 6 степенями свободы — от теоретических квантилей стандартного нормального распределения N(0, 1).
Здесь мы тоже видим змееобразную кривую, но она представляет собой букву зеркально-отраженную относительно линии главного тренда.
Бонус: Экспоненциальное распределение
Рис. 10: Зависимость теоретических квантилей экспоненциального распределения с параметром 1 Exp(1) — от теоретических квантилей стандартного нормального распределения N(0, 1).
На следующем рисунке изображён первый график из англоязычной статьи Википедии про Q-Q Plots. Обращаю еще раз ваше внимание на то, что значение квантильного графика в нуле — это медиана распределения, которое мы строим вдоль оси y. На данном квантильном графике не изображена линия главного тренда. Пунктирная прямая представляет график функции y = x.
Заключение
Если делать summary, то главным является следующее.
Если точки на графике Q-Q Plot стелятся вдоль какой-то прямой, то наши данные неплохо соответствуют теоретическим квантилям, отложенным по горизонтальной оси.
Если мы строим Q-Q Plot от теоретических квантилей стандартного нормального распределения, то:
Значение получившейся функции в нуле — это медиана нашей выборки. Вообще все квантили нашей выборки соответствуют квантилям распределения на оси x, а не только медиана :)
Тангенс линии тренда соответствует стандартному отклонению нормального распределения, наилучшим образом описывающем нашу выборку. Значение линии главного тренда в нуле соответствует его среднему значению
Равномерное распределение - это S-образная кривая, стелющаяся вдоль линии тренда, бимодальное распределение - это S-образная кривая, пересекающая линию тренда. t-распределение - это зеркально отраженная S-образная кривая.
Я буду рад, если моя статья поможет кому-то в понимании QQ-Plots. Поделитесь в комментариях вашим любимым учебным материалом по квантильным графикам или примером реального их использования в анализе данных.
Благодарю Анастасию Котликову за ценное обсуждение способов построения линии главного тренда и за помощь в интерпретации ее коэффициентов.
Читайте также: