Квантильно-квантильний графік за допомогою SciPy

Як би ви створили qq-графік за допомогою Python?

Припускаючи, що у вас великий набір вимірювань і ви використовуєте якусь функцію побудови графіків, яка приймає значення XY як вхідні дані. Функція повинна будувати квантилі вимірювань щодо відповідних квантилів певного розподілу (нормального, рівномірного ...).

Отриманий графік дозволяє нам потім оцінити, коли ми вимірюємо, чи передбачається розподіл чи ні.

http://en.wikipedia.org/wiki/Quantile-quantile_plot

І R, і Matlab надають готові функції для цього, але мені цікаво, яким був би найчистіший метод для реалізації в Python.

Я думаю, що scipy.stats.probplotзробиш те, що ти хочеш. Детальніше див. У документації .

import numpy as np 
import pylab 
import scipy.stats as stats

measurements = np.random.normal(loc = 20, scale = 5, size=100)   
stats.probplot(measurements, dist="norm", plot=pylab)
pylab.show()

Результат

Використання qqplotз statsmodels.apiінший варіант:

Дуже базовий приклад:

import numpy as np
import statsmodels.api as sm
import pylab

test = np.random.normal(0,1, 1000)

sm.qqplot(test, line='45')
pylab.show()

Результат:

Документація та інші приклади тут

Якщо вам потрібно зробити графік QQ одного зразка порівняно з іншим, statsmodels включає qqplot_2samples (). Як і Рікі Робінсон у коментарі вище, це те, що я вважаю графіком QQ проти графіку ймовірності, який є зразком проти теоретичного розподілу.

http://statsmodels.sourceforge.net/devel/generated/statsmodels.graphics.gofplots.qqplot_2samples.html

Я це придумав. Можливо, ви можете його вдосконалити. Особливо метод генерації квантилів розподілу мені здається громіздким.

Ви можете замінити np.random.normalбудь-який інший розподіл, np.randomщоб порівняти дані з іншими розподілами.

#!/bin/python

import numpy as np

measurements = np.random.normal(loc = 20, scale = 5, size=100000)

def qq_plot(data, sample_size):
    qq = np.ones([sample_size, 2])
    np.random.shuffle(data)
    qq[:, 0] = np.sort(data[0:sample_size])
    qq[:, 1] = np.sort(np.random.normal(size = sample_size))
    return qq

print qq_plot(measurements, 1000)

Зараз він існує в пакеті statsmodels:

http://statsmodels.sourceforge.net/devel/generated/statsmodels.graphics.gofplots.qqplot.html

Щоб додати плутанини навколо графіків QQ та графіків ймовірностей у світах Python та R, ось що сказано в посібнику SciPy :

" probplotгенерує графік ймовірності, який не слід плутати з QQ або графіком PP. Statsmodels має більш широкі функціональні можливості цього типу, див. statsmodels.api.ProbPlot."

Якщо ви спробуєте scipy.stats.probplot, то побачите, що він справді порівнює набір даних із теоретичним розподілом. Графіки QQ, OTOH, порівнюють два набори даних (вибірки).

R має функції qqnorm, qqplotі qqline. З довідки R (версія 3.6.3):

qqnormє загальною функцією, метод якої за замовчуванням виробляє нормальний графік QQ значень у. qqlineдодає рядок до «теоретичного», за замовчуванням нормального, квантильно-квантильного графіку, який проходить через зонди квантилей, за замовчуванням першого та третього квартилів.

qqplot створює графік QQ з двох наборів даних.

Коротше кажучи, R qqnormпропонує ту саму функціональність, яка scipy.stats.probplotнадається за замовчуванням dist=norm. Але той факт, що вони назвали це qqnormі що він повинен створювати нормальний графік QQ, може легко заплутати користувачів.

Нарешті, слово попередження. Ці графіки не замінюють належного статистичного тестування і повинні використовуватися лише для ілюстративних цілей.

Наскільки великий ваш зразок? Ось ще один варіант перевірки ваших даних на будь-який розподіл за допомогою бібліотеки OpenTURNS . У наведеному нижче прикладі я генерую зразок x з 1 000 000 чисел з уніфікованого розподілу та перевіряю його на нормальний розподіл. Ви можете замінити x своїми даними, якщо переформатувати його якx= [[x1], [x2], .., [xn]]

import openturns as ot

x = ot.Uniform().getSample(1000000)
g = ot.VisualTest.DrawQQplot(x, ot.Normal())
g

У своєму блокноті Юпітера я бачу:

Якщо ви пишете сценарій, ви можете зробити це більш правильно

from openturns.viewer import View`
import matplotlib.pyplot as plt
View(g)
plt.show()

Можна використовувати боке

from bokeh.plotting import figure, show
from scipy.stats import probplot
# pd_series is the series you want to plot
series1 = probplot(pd_series, dist="norm")
p1 = figure(title="Normal QQ-Plot", background_fill_color="#E8DDCB")
p1.scatter(series1[0][0],series1[0][1], fill_color="red")
show(p1)

import numpy as np 
import pylab 
import scipy.stats as stats
measurements = np.random.normal(loc = 20, scale = 5, size=100)   
stats.probplot(measurements, dist="norm", plot=pylab)
pylab.show()

Тут probplot намалюйте графік вимірювань проти нормального розподілу, який вказується в dist = "norm"