Як зрозуміти ступеня свободи?

З Вікіпедії є три тлумачення ступенів свободи статистики:

У статистиці число ступенів свободи - це кількість значень у підсумковому обчисленні статистики, які можуть змінюватися .

Оцінки статистичних параметрів можуть базуватися на різних обсягах інформації або даних. Кількість незалежних фрагментів інформації, що надходять в оцінку параметра, називається ступенем свободи (df). Загалом, ступінь свободи оцінювання параметра дорівнює кількості незалежних балів, які входять в оцінку за мінусом кількості параметрів, що використовуються як проміжні кроки в оцінці самого параметра (який, у відмінні вибірки, становить одне, оскільки середнє значення вибірки є єдиним проміжним кроком).

Математично градуси свободи - це вимір області довільного вектора , або, по суті, кількості "вільних" компонентів: скільки компонентів потрібно знати, перш ніж вектор буде повністю визначений .

Сміливі слова - це те, що я не зовсім розумію. Якщо можливо, деякі математичні формулювання допоможуть з’ясувати концепцію.

Чи згодні три інтерпретації між собою?

Це тонке питання. Потрібно продуманій людині не розуміти цих цитат! Хоча вони є сугестивними, виявляється, що жоден з них не є точним або загалом правильним. У мене немає часу (і тут немає місця) викласти повну експозицію, але я хотів би поділитися одним підходом і розумінням, яке він пропонує.

Звідки виникає поняття ступенів свободи (ДФ)? Контексти, в яких він знаходиться в елементарному лікуванні, є:

• Т-критерій Стьюдента і його варіанти , такі як рішення Welch або Саттервейта до проблеми Беренса-Фішера (де дві популяції мають різні відхилення).

• Розподіл Chi-квадрата (визначається як сума квадратів незалежних стандартних нормалей), який залучається до розподілу вибірки дисперсії.

• F-тест (співвідношення передбачуваних відхилень).

• Тест Chi-квадрата , що включає його використання в (а) тестуванні на незалежність у таблицях на випадок надзвичайних ситуацій та (b) тестуванні на відповідність відповідності розподільних оцінок.

По духу, ці тести мають загальну гаму від точного (t-тест Стьюдента і F-тесту для нормальних змінних) до хорошого наближення (тест Стьюдента і тести Велча / Саттертвейта для не надто погано перекошених даних) ) базуватися на асимптотичних наближеннях (тест Chi-квадрата). Цікавим аспектом деяких із них є поява неінтегральних "ступенів свободи" (тести Вельча / Саттертвайта і, як ми побачимо, тест на квадрат Chi). Це представляє особливий інтерес, оскільки це перший натяк на те, що DF - це не одна з речей, на які заявлено.

Деякі претензії у питанні ми можемо одразу розпоряджатись. Оскільки "остаточний обчислення статистики" не є чітко визначеним (це, мабуть, залежить від того, який алгоритм використовується для обчислення), він може бути не більше ніж розпливчатою пропозицією і не варто більше критикувати. Аналогічно, ні "кількість незалежних балів, які входять в оцінку", ні "кількість параметрів, що використовуються як проміжні кроки", не визначені добре.

"Незалежні відомості, які потрапляють в [оцінку" , важко розібратися, тому що тут можуть бути актуальні два, але тісно пов'язані з ними "незалежні" почуття. Одне - незалежність випадкових величин; інша - функціональна незалежність. Прикладом останнього, припустимо, ми збираємо морфометричні вимірювання предметів - скажімо, для простоти, три сторони довжини , Y , Z , площі поверхні S = 2 ( X Y + Y Z + Z X ) та обсяги V = X Y $X$$Y$$Z$$S=2(XY+YZ+ZX)$$V=XYZ$набір дерев'яних блоків. Три бічні довжини можна вважати незалежними випадковими змінними, але всі п'ять змінних є залежними RV. П'ять також функціонально залежать, тому що кодомен (а не "домен"!) Векторної значення випадкової величини відслідковує тривимірний множину в R 5 . (Таким чином, локально в будь-якій точці ω ∈ R 5 існують дві функції f ω і g ω, для яких f $(X,Y,Z,S,V)$$\mathbb{R}^5$$\omega\in\mathbb{R}^5$$f_\omega$$g_\omega$ і g ω ( X ( ψ ) , … , V ( ψ ) ) = 0 для точок ψ "біля" ω та похідних f і g, оцінених на ω є лінійно незалежними.) Однак - ось кікер - для багатьох імовірнісних заходів на блоки, підмножини змінних, таких як ( X $f_\omega(X(\psi),\ldots,V(\psi))=0$$g_\omega(X(\psi),\ldots,V(\psi))=0$$\psi$$\omega$$f$$g$$\omega$ єзалежнимияк випадкові величиниале функціональнонезалежні.$(X,S,V)$

Попередивши про ці потенційні неоднозначності, давайте проведемо тест на відповідність чи-квадрату на придатність для перевірки , оскільки (а) це просто, (б) це одна з поширених ситуацій, коли людям дійсно потрібно знати про DF, щоб отримати p-значення права та (c) воно часто використовується неправильно. Ось короткий огляд найменш суперечливого застосування цього тесту:

• У вас є колекція значень даних , що розглядаються як вибірка сукупності.$(x_1, \ldots, x_n)$

• Ви оцінили деякі параметри розподілу. Наприклад, ви оцінили середнє значення θ 1 і стандартне відхилення θ 2 = θ p нормального розподілу, припустивши, що популяція зазвичай розподіляється, але не знаючи (до отримання даних), що може бути θ 1 або θ 2 .$\theta_1, \ldots, \theta_p$$\theta_1$$\theta_2 = \theta_p$$\theta_1$$\theta_2$

• Заздалегідь ви створили набір "бункерів" для даних. (Це може бути проблематично, коли бункери визначаються даними, навіть якщо це часто робиться.) Використовуючи ці бункери, дані зводяться до набору рахунків у кожному контейнері. Передчуваючи, якими можуть бути справжні значення ( θ ) , ви впорядкували це так (сподіваємось), що кожен контейнер отримає приблизно однаковий підрахунок. (Бінінг з однаковою ймовірністю гарантує, що розподіл chi-квадрата справді є хорошим наближенням до справжнього розподілу статистики chi-квадрата, про яку слід описати.)$k$$(\theta)$

• У вас дуже багато даних - достатньо, щоб переконатися, що майже у всіх бункерах повинно бути число 5 або більше. (Ми сподіваємось, це дасть можливість адекватно наблизити розподіл вибірки статистики за деяким χ 2 розподілом.)$\chi^2$$\chi^2$

Використовуючи оцінки параметрів, ви можете обчислити очікувану кількість у кожному відрізку. Статистика Chi-квадрата - це сума відношень

$$\frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$

Це, як кажуть нам багато органів влади, повинно мати (до дуже близького наближення) розподіл у квадраті Chi. Але є ціла родина таких розподілів. Вони диференціюються параметром часто називають "ступенем свободи". Стандартне міркування про те, як визначити ν, йде так$\nu$$\nu$

У мене є кількість. Це k фрагментів даних. Але серед них є ( функціональні ) зв’язки. Для початку я заздалегідь знаю, що сума підрахунків повинна дорівнювати n . Це одне відношення. Я оцінив з даних два (або p , як правило) параметри. Це два (або p ) додаткові відносини, що дають p + 1 загальних відносин. Припускаючи, що вони (параметри) всі ( функціонально ) незалежні, що залишає лише k - p - 1 ( функціонально ) незалежні "ступені свободи": це значення, яке потрібно використовувати для$k$$k$$n$$p$$p$$p+1$$k-p-1$ .$\nu$

Проблема з цим міркуванням (який є таким розрахунком, на який натякають цитати у питанні) полягає в тому, що це неправильно, за винятком випадків, коли дотримуються деяких спеціальних додаткових умов. Більше того, ці умови не мають нічого спільного з незалежністю (функціональною чи статистичною), ні з кількістю "компонентів" даних, ні з числами параметрів, ні з чим іншим, про що йдеться в оригінальному запитанні.

Дозвольте показати вам на прикладі. (Щоб зробити це максимально зрозумілим, я використовую невелику кількість бункерів, але це не суттєво.) Давайте генеруємо 20 незалежних і однаково розподілених (iid) стандартних звичайних змінних і оцінюємо їх середнє та стандартне відхилення за звичайними формулами ( середня = сума / підрахунок тощо ). Щоб перевірити придатність придатності, створіть чотири бункери з точками вирізування на четвертіх стандартних нормальних: -0,675, 0, +0,657, і використовуйте підрахунки смітників для отримання статистики Chi-квадрата. Повторіть, як дозволяє терпіння; Я встиг зробити 10000 повторень.

Стандартна мудрість щодо DF говорить про те, що у нас є 4 бункери та 1 + 2 = 3 обмеження, що передбачає розподіл цих 10 000 Chi-квадратних статистичних даних, які повинні слідувати розподілу Chi-квадрата з 1 DF. Ось гістограма:

Темно-синя лінія показує PDF розподілу - такого, на який ми думали, що буде працювати - в той час як темно-червона лінія графікує розподіл χ 2 ( 2 ) (що було б добре здогадатися, якби хтось щоб сказати вам, що ν = 1 неправильно). Не відповідає жодним даним.$\chi^2(1)$$\chi^2(2)$$\nu=1$

Ви можете очікувати, що проблема буде пов’язана з малим розміром наборів даних ( = 20) або, можливо, малим розміром кількості бункерів. Однак проблема зберігається навіть із дуже великими наборами даних та більшою кількістю бункерів: це не просто недосягнення асимптотичного наближення.$n$

Все пішло не так, оскільки я порушив дві вимоги тесту Chi-квадрата:

1. Ви повинні використовувати оцінку максимальної ймовірності параметрів. (Ця вимога на практиці може бути злегка порушена.)

2. Ви повинні базувати цю оцінку на рахунках, а не на фактичних даних! (Це важливо .)

Червона гістограма зображує статистику хі-квадрата для 10 000 окремих ітерацій, дотримуючись цих вимог. Звичайно, вона помітно слідує кривій (з прийнятною кількістю помилки вибірки), як ми спочатку сподівалися.$\chi^2(1)$

Сенс цього порівняння - що я сподіваюся , що ви вже бачили прихід - це те , що правильний DF використовувати для обчислення р-значень залежить від багатьох речей , інших , ніж розміри колекторів, епізоди функціональних відносин, або геометрія нормальних випадкових величин . Існує тонка делікатна взаємодія між певними функціональними залежностями, що виявляються в математичних взаємозв'язках між величинами, і розподілами даних, їх статистикою та формуваними з них оцінниками. Відповідно, не може бути так, що DF є достатньо поясненим з точки зору геометрії багатоваріантних нормальних розподілів, або з точки зору функціональної незалежності, або як підрахунок параметрів, або що-небудь інше подібного характеру.

Тоді нас припускають бачити, що "ступінь свободи" є лише евристикою, яка підказує, яким повинен бути розподіл вибірки статистики (t, Chi-квадрата або F), але не є диспозитивним. Віра в те, що вона є диспозитивною, призводить до кричущих помилок. (Наприклад, найкращий хіт Google при пошуку "чи в квадраті доброти придатності") - це веб-сторінка університету Ivy League, яка отримує більшість цього зовсім неправильно! Зокрема, моделювання, засноване на його інструкціях, показує, що чи-квадрат значення, яке воно рекомендує, оскільки 7 DF насправді має 9 DF.)

З цим більш нюансовим розумінням, варто перечитати цю статтю у Вікіпедії: у деталях вона все виправдовує, вказуючи, де евристика DF схильна працювати і де це або наближення, або взагалі не застосовується.

---

Хороший опис явища, проілюстрованого тут (несподівано високий показник коефіцієнта корисних копалин у тестах на гофілінг на Chi-squared), представлений у томі II видання Kendall & Stuart, 5-е видання . Я вдячний за надану цим запитанням можливість повернути мене до цього чудового тексту, який наповнений такими корисними аналізами.

---

Редагувати (січень 2017)

Ось Rкод для отримання фігури, що відповідає "Стандартної мудрості про DF ..."

#
# Simulate data, one iteration per column of `x`.
#
n <- 20
n.sim <- 1e4
bins <- qnorm(seq(0, 1, 1/4))
x <- matrix(rnorm(n*n.sim), nrow=n)
#
# Compute statistics.
#
m <- colMeans(x)
s <- apply(sweep(x, 2, m), 2, sd)
counts <- apply(matrix(as.numeric(cut(x, bins)), nrow=n), 2, tabulate, nbins=4)
expectations <- mapply(function(m,s) n*diff(pnorm(bins, m, s)), m, s)
chisquared <- colSums((counts - expectations)^2 / expectations)
#
# Plot histograms of means, variances, and chi-squared stats.  The first
# two confirm all is working as expected.
#
mfrow <- par("mfrow")
par(mfrow=c(1,3))
red <- "#a04040"  # Intended to show correct distributions
blue <- "#404090" # To show the putative chi-squared distribution
hist(m, freq=FALSE)
curve(dnorm(x, sd=1/sqrt(n)), add=TRUE, col=red, lwd=2)
hist(s^2, freq=FALSE)
curve(dchisq(x*(n-1), df=n-1)*(n-1), add=TRUE, col=red, lwd=2)
hist(chisquared, freq=FALSE, breaks=seq(0, ceiling(max(chisquared)), 1/4), 
     xlim=c(0, 13), ylim=c(0, 0.55), 
     col="#c0c0ff", border="#404040")
curve(ifelse(x <= 0, Inf, dchisq(x, df=2)), add=TRUE, col=red, lwd=2)
curve(ifelse(x <= 0, Inf, dchisq(x, df=1)), add=TRUE, col=blue, lwd=2)
par(mfrow=mfrow)

Або просто: кількість елементів у числовому масиві, який ви можете змінити, щоб значення статистики залишалося незмінним.

# for instance if:
x + y + z = 10

ви можете змінити, наприклад, x і y навмання, але ви не можете змінити z (можна, але не випадково, тому ви не вільні змінити його - див. коментар Гарві), тому що ви зміните значення статистики (Σ = 10). Отже, у цьому випадку df = 2.

Концепцію зовсім не складно зробити математично точною, враховуючи трохи загальних знань про мірну евклідову геометрію, підпростори та ортогональні проекції.$n$

Якщо - ортогональна проекція від R n до p -вимірного підпростору L, а x довільний n- вектор$P$$\mathbb{R}^n$$p$$L$$x$$n$ знаходиться в L , х - Р х і Р х ортогональні і х - Р х ∈ L ⊥ в ортогональное доповнення L . Розмір цього ортогонального доповнення, L ⊥ , n - p . Якщо$Px$$L$$x - Px$$Px$$x - Px \in L^{\perp}$$L$$L^{\perp}$$n-p$ може змінюватися в n- розмірному просторі, тоді x - P x може змінюватися в n - p розмірному просторі. З цієї причини ми говоримо, що x - P x має n - p ступенів свободи.$x$$n$$x - Px$$n-p$$x - Px$$n-p$

Ці міркування важливі для статистики, оскільки якщо - n -вимірний випадковий вектор, а L - модель його середнього значення, тобто середній вектор E ( X ) знаходиться в L , то X - P X називаємо вектором залишків , і ми використовуємо залишки для оцінки дисперсії. Вектор залишків має n - p ступенів свободи, тобто обмежений підпростором розмірності n - p .$X$$n$$L$$E(X)$$L$$X-PX$$n-p$$n-p$

Якщо координати незалежні і зазвичай розподіляються з однаковою дисперсією σ 2, то$X$$\sigma^2$

• Вектори і X - P X незалежні.$PX$$X - PX$
• Якщо - розподіл квадратичної норми вектора залишків | | X - P X | | 2 - розподіл χ 2 з параметром масштабу σ 2 та іншим параметром, який буває ступенем свободи n - p .$E(X) \in L$$||X - PX||^2$$\chi^2$$\sigma^2$$n-p$

Ескіз доказування цих фактів подано нижче. Два результати є основними для подальшого розвитку статистичної теорії на основі нормального розподілу. Зауважимо також, що саме тому розподіл має параметризацію, яку він має. Це також Γ -розподіл з параметром масштабу 2 σ 2 та параметром форми ( n - p ) / 2 , але в контексті вище, природно, параметризувати з точки зору ступенів свободи.$\chi^2$$\Gamma$$2\sigma^2$$(n-p)/2$

Я мушу визнати, що я не вважаю жоден із цитованих із статті Вікіпедії пунктів особливо просвітницьким, але вони насправді не є помилковими чи суперечливими. Вони говорять в неточному і в загальному розслабленому сенсі, що коли ми обчислюємо оцінку параметра дисперсії, але робимо це на основі залишків, ми грунтуємо обчислення на векторі, який може вільно змінюватися в просторі розмірності .$n-p$

Поза теорією лінійних нормальних моделей використання поняття ступенів свободи може бути заплутаним. Наприклад, він використовується при параметризації розподілу незалежно від того, чи є посилання на що-небудь, що могло мати будь-які ступені свободи. Коли ми розглядаємо статистичний аналіз категоричних даних, може виникнути певна плутанина щодо того, чи слід рахувати "незалежні фрагменти" до та після підрахунку. Крім того, для обмежень, навіть для звичайних моделей, які не є підпросторовими обмеженнями, не очевидно, як розширити поняття ступенів свободи. Зазвичай під назвою ефективних ступенів свободи існують різні пропозиції .$\chi^2$

Перш ніж розглядати будь-які інші звичаї та значення ступенів свободи, я настійно рекомендую бути впевненими в цьому в контексті лінійних нормальних моделей. Посилання, що стосується цього класу моделей, - це «Перший курс в теорії лінійної моделі» , а в передмові книги до інших класичних книг про лінійні моделі є додаткові посилання.

Доказ наведених вище результатів: Нехай , зауважимо , що матриця дисперсія σ 2 Я і вибрати ортонормованій базис Z 1 , ... , г р о л і ортонормованій базис г р + 1 , ... , г п з L ⊥ . Тоді z 1 , … , z n є ортонормальною основою R n . Нехай ˜ $\xi = E(X)$$\sigma^2 I$$z_1, \ldots, z_p$$L$$z_{p+1}, \ldots, z_n$$L^{\perp}$$z_1, \ldots, z_n$$\mathbb{R}^n$$\tilde{X}$Позначимо через вектор коефіцієнтів X в цьому базисі, тобто ~ Х я = г Т я х . де Z - ортогональна матриця із z i 's у стовпцях. Тоді ми маємо використати, що ˜ X має нормальний розподіл із середнім Z T ξ і, оскільки Z ортогональна, дисперсійна матриця σ 2$n$$X$

$$\tilde{X}_i = z_i^T X.$$ Це також може бути записана в вигляді $\tilde{X} = Z^T X$$Z$$z_i$$\tilde{X}$$Z^T \xi$$Z$$\sigma^2 I$. Це випливає із загальних результатів лінійного перетворення нормального розподілу. Основу було обрано так, щоб коефіцієнти були ˜ X i при i = 1 , … , p , а коефіцієнти X - P X дорівнювали ˜ X i для i = p + 1 , … , n . Оскільки коефіцієнти некорельовані і спільно нормальні, вони незалежні, і це означає, що P X = p ∑$PX$$\tilde{X}_i$$i= 1, \ldots, p$$X - PX$$\tilde{X}_i$$i= p+1, \ldots, n$ і X-PX= n ∑ i = p + 1 ˜ X izi є незалежними. Більше того, | | X-PX| | 2= n ∑ i = p + 1 ˜ X 2 i . Якщоξ∈L,тоE( ˜ X $$PX = \sum_{i=1}^p \tilde{X}_i z_i$$ $$X - PX = \sum_{i=p+1}^n \tilde{X}_i z_i$$ $$||X - PX||^2 = \sum_{i=p+1}^n \tilde{X}_i^2.$$ $\xi \in L$ для i = p + 1 , … , n, оскільки тоді z i ∈ L ⊥ і, отже, z i ⊥ ξ . У цьому випадку | | X - P X | | 2 - сума n - p незалежного N ( 0 , σ 2$E(\tilde{X}_i) = z_i^T \xi = 0$$i = p +1, \ldots, n$$z_i \in L^{\perp}$$z_i \perp \xi$$||X - PX||^2$$n-p$$N(0, \sigma^2)$-розподілені випадкові величини, розподіл яких за визначенням є -розподілом із параметрами шкали σ 2 та n - p ступенів свободи.$\chi^2$$\sigma^2$$n-p$

Це насправді нічим не відрізняється від того, як працює термін "ступені свободи" в будь-якій іншій галузі. Наприклад, припустимо, у вас є чотири змінні: довжина, ширина, площа та периметр прямокутника. Ви справді знаєте чотири речі? Ні, тому що є лише два ступені свободи. Якщо ви знаєте довжину та ширину, ви можете вивести площу та периметр. Якщо ви знаєте довжину та площу, ви можете отримати ширину та периметр. Якщо ви знаєте площу та периметр, ви можете визначити довжину та ширину (до обертання). Якщо у вас є всі чотири, ви можете сказати, що система є послідовною (всі змінні узгоджуються між собою), або непослідовною (жоден прямокутник насправді не міг би задовольнити всі умови). Квадрат - прямокутник із вилученим ступенем свободи;

У статистиці все стає нечіткішим, але ідея все одно та сама. Якщо всі дані, які ви використовуєте як вхід для функції, є незалежними змінними, то ви маєте стільки ж ступенів свободи, скільки у вас є вхідні дані. Але якщо вони мають певну залежність, таку, якби у вас було n - k входів, ви могли б розібратися з рештою k, то ви насправді отримали лише n - k ступенів свободи. І іноді вам потрібно це враховувати, щоб не переконати себе в тому, що дані надійніші або мають більшу силу прогнозування, ніж вони є насправді, підраховуючи більше точок даних, ніж у вас дійсно є незалежні біти даних.

(Взято з допису за адресою http://www.reddit.com/r/math/comments/9qbut/could_someone_explain_to_me_what_degrees_of/c0dxtbq?context=3 .)

Більше того, усі три визначення майже намагаються дати одне і те ж повідомлення.

Мені дуже подобається перше речення з "Маленького посібника зі статистичної практики". Ступінь свободи Глава

Одне із запитань, яке інтруктор переймає найбільше перед математично непідготовленою аудиторією, - це "Що таке ступеня свободи?"

Я думаю, ви можете отримати дуже гарне розуміння ступеня свободи від читання цієї глави.

Вікіпедія стверджує, що ступеня свободи a випадкового вектора може бути інтерпретована як розміри векторного підпростору. Я хочу пройти крок за кроком, дуже в основному через це як часткову відповідь і детальну інформацію про запис у Вікіпедії.

Запропонований приклад - випадковий вектор, що відповідає вимірам суцільної змінної для різних суб'єктів, виражений у вигляді вектора, що виходить від початку . Його ортогональна проекція на вектор [ $[a\,b\,c]^T$ призводить до векторурівні проекції вектора засоби вимірювання ( ˉ х = 1 / 3 ( + б + гр ) ), тобто [ ˉ $[1\,1\,1]^T$$\bar{x}=1/3(a+b+c)$, пунктирнимвектором → 1 ,[$[\bar x \, \bar x \, \bar x]^T$$\vec{1}$ Ця проекція на підпростір, охоплений вектором одиниць, має$[1\,1\,1]^T$ . Остаточнийвектор (відстань від середнього) є проекцією наімалейшіх квадратів на ( п - 1 ) nмірного ортогонального доповнення цього підпростору, і має п $1\,\text{degree of freedom}$$(n − 1)$ , n - загальна кількість компонентів вектора (в нашому випадку 3, оскільки мив прикладі R 3 ). Це можна просто довести, отримавши крапковий добуток [ ˉ $n − 1\,\text{degrees of freedom}$$n$$3$$\mathbb{R}^3$з різницею між[$[\bar{x}\,\bar{x}\,\bar{x}]^T$ і [ ˉ $[a\,b\,c]^T$:$[\bar{x}\,\bar{x}\,\bar{x}]^T$

$$[\bar{x}\, \bar{x}\,\bar{x}]\, \begin{bmatrix} a-\bar{x}\\b-\bar{x}\\c-\bar{x}\end{bmatrix}=$$

$$= \bigg[\tiny\frac{(a+b+c)}{3}\, \bigg(a-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(b-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$=\tiny \frac{(a+b+c)}{3}\bigg[ \bigg(\tiny a-\frac{(a+b+c)}{3}\bigg)+ \bigg(b-\frac{(a+b+c)}{3}\bigg)+ \bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$= \tiny \frac{(a+b+c)}{3}\bigg[\tiny \frac{1}{3} \bigg(\tiny 3a-(a+b+c)+ 3b-(a+b+c)+3c-(a+b+c)\bigg)\bigg]$$

.

$$=\tiny\frac{(a+b+c)}{3}\bigg[\tiny\frac{1}{3} (3a-3a+ 3b-3b+3c-3c)\bigg]\large= 0$$

І ця залежність поширюється на будь-яку точку площини, ортогональної до . Ця концепція важлива для розуміння того, чому$[\bar{x}\,\bar{x}\,\bar{x}]^T$ , крок у виведенні t-розподілу (тутітут).$\frac 1 {\sigma^2} \Big((X_1-\bar X)^2 + \cdots + (X_n - \bar X)^2 \Big) \sim \chi^2_{n-1}$

Візьмемо точку , що відповідає трьом спостереженням. Середнє значення - 55 , а вектор [ $[35\,50\,80]^T$$55$ є нормальним (ортогональної) до площини, 55 х + 55 г + 55 г = D . Підключення точкових координат до рівняння площини, D = - 9075 .$[55\,\,55\,\,55]^T$$55x + 55y + 55z = D$$D = -9075$

Тепер ми можемо вибрати будь-яку іншу точку на цій площині, і середнє значення її координат буде , геометрично відповідає його проекції на вектор [ $55$ . Отже, для кожного середнього значення (у нашому прикладі 55 ) ми можемо вибрати нескінченну кількістьпаркоординат у R 2 без обмежень ($[1\,\,1\,\,1]^T$$55$$\mathbb{R}^2$ ); але, оскільки площина знаходиться в R 3 , третя координата настане визначається рівнянням площини (або, геометрично, ортогональною проекцією точки на [ $2\,\text{degrees of freedom}$$\mathbb{R}^3$ .$[55\,\,55\,\,55]^T$

Тут представлено три точки (білого кольору), що лежать на площині (синій серуле), ортогональній до (стрілка): [ $[55\,\,55\,\,55]^T$ , [ $[35\,\,50\,\,80]^T$ та [ $[80\,\,80\,\,5]$ всі вони на площині (підпростір з$[90\,\,15\,\,60]$ ), а потім із середнім значенням їх компонентів 55 і ортогональною проекцією на [ $2\,\text{df}$$55$ (підпростір з$[1\,\,1\,\,1]^T$ ) дорівнює [ $1\,\text{df}$ :$[55\,\,55\,\,55]^T$

На своїх заняттях я використовую одну "просту" ситуацію, яка може допомогти вам замислитися і, можливо, розвинути почуття кишечника щодо того, що може означати ступінь свободи.

Це свого роду підхід «Форест Гамп» до цього питання, але варто спробувати.

Розглянемо, що у вас є 10 незалежних спостережень які надійшли від нормальної сукупності, середня μ і дисперсія σ $X_1, X_2, \ldots, X_{10}\sim N(\mu,\sigma^2)$$\mu$$\sigma^2$ невідомі.

Ваші спостереження приносять вам колективну інформацію як про і σ 2 . Зрештою, ваші спостереження, як правило, поширюються навколо одного центрального значення, яке повинно бути близьким до фактичного та невідомого значення μ, а також, якщо μ дуже високий або дуже низький, то ви можете сподіватися, що ваші спостереження збираються навколо дуже високе або дуже низьке значення відповідно. Одним добрим «замінником» μ (за відсутності знань про його фактичне значення) є ˉ $\mu$$\sigma^2$$\mu$$\mu$$\mu$$\bar X$ , середнє значення вашого спостереження.

Крім того, якщо ваші спостереження дуже близькі одне до одного, це є свідченням того, що ви можете очікувати, що має бути малим, а також, якщо σ 2 дуже великий, то ви можете розраховувати побачити диво різні значення для X 1 до X 10 . $\sigma^2$$\sigma^2$$X_1$$X_{10}$

Якби ви зробили ставку на заробітну плату за тиждень, на якій мають бути фактичні значення і σ 2 , вам потрібно вибрати пару значень, на які ви зробите ставку на свої гроші. Давайте не будемо думати ні про що , як драматичним , як втратити свою зарплату , якщо не вгадати М коректно до його 200 - й позиції десяткової. Ні. Давайте подумаємо про якусь цінову систему, що чим ближче ви здогадаєтесь μ і σ 2, тим більше отримуєте винагороду.$\mu$$\sigma^2$$\mu$$\mu$$\sigma^2$

В якому - то сенсі, ваш краще, більш поінформовані і більш ввічливі здогад для значення «и можуть бути ˉ X . У цьому сенсі, ви оцінити , що μ має бути деяке значення навколо ˙ X . Аналогічно, одним добрим "замінником" для σ 2 (поки що не потрібно) є S 2 , ваша дисперсія вибірки, що дає хорошу оцінку $\mu$$\bar X$$\mu$$\bar X$$\sigma^2$$S^2$$\sigma$ .

Якби ви вважали, що ці замінники - це фактичні значення і σ 2 , ви, ймовірно, помиляєтесь, тому що дуже тонкі шанси, що вам так пощастило, що ваші спостереження узгодили себе, щоб отримати дар gift X рівний до μ і S 2, рівних σ $\mu$$\sigma 2$$\bar X$$\mu$$S^2$$\sigma^2$ . Ні, напевно, цього не сталося.

Але ви можете бути на різних рівнях неправильних, варіюючись від трохи неправильних до дійсно, дійсно, дуже жалюгідних помилок (він же "До побачення, зарплата; до наступного тижня!").

Гаразд, скажімо, що ви взяли як здогадку для μ . Розглянемо лише два сценарії: S 2 = 2 і S 2 = 20 , 000 , 000 . По-перше, ваші спостереження сидять досить і близько один до одного. В останньому ваші спостереження сильно різняться. У якому сценарії ви повинні більше ставитися до своїх потенційних втрат? Якщо ви думали про друге, ви маєте рацію. Оцінка приблизно σ 2 дуже розумно змінює вашу впевненість у вашій ставці; чим більший σ 2 , тим ширше ви можете очікувати ˉ $\bar X$$\mu$$S^2=2$$S^2=20,000,000$$\sigma^2$$\sigma^2$$\bar X$ змінювати.

Але, крім інформації про та σ 2 , ваші спостереження також містять деяку кількість просто чистого випадкового коливання, яке не є інформативним ні про μ, ні про σ 2 . $\mu$$\sigma^2$$\mu$$\sigma^2$

Як це можна помітити?

Ну, припустимо, для аргументації, що є Бог і що у нього є вільний час, достатній, щоб дати собі легковажність, щоб конкретно вам сказати реальні (і поки що невідомі) значення як і σ .$\mu$$\sigma$

І ось набридливий сюжетний викрут цієї лізергічної казки: Він розповідає це вам після того, як ви зробили ставку. Можливо, щоб просвітити тебе, можливо, підготувати тебе, можливо, знущатися над тобою. Як ти міг це знати?

$\mu$$\sigma^2$$\bar X$$S^2$$\mu$$\sigma^2$

$\mu$$\bar X$$(\bar X - \mu)$

$X_i\sim N(\mu,\sigma^2)$$\bar X\sim N(\mu,\sigma^2/10)$$(\bar X - \mu)\sim N(0,\sigma^2/10)$ (ok, trust me in that on too) and, finally,

$$\frac{\bar X - \mu}{\sigma/\sqrt{10}} \sim N(0,1)$$ (guess what? trust me in that one as well), which carries absolutely no information about $\mu$ or $\sigma^2$.

You know what? If you took any of your individual observations as a guess for $\mu$, your estimation error $(X_i-\mu)$ would be distributed as $N(0,\sigma^2)$. Well, between estimating $\mu$ with $\bar X$ and any $X_i$, choosing $\bar X$ would be better business, because $Var(\bar X) = \sigma^2/10 < \sigma^2 = Var(X_i)$, so $\bar X$ was less prone to be astray from $\mu$ than an individual $X_i$.

Anyway, $(X_i-\mu)/\sigma\sim N(0,1)$ is also absolutely non informative about neither $\mu$ nor $\sigma^2$.

"Will this tale ever end?" you may be thinking. You also may be thinking "Is there any more random fluctuation that is non informative about $\mu$ and $\sigma^2$?".

[I prefer to think that you are thinking of the latter.]

Yes, there is!

The square of your estimation error for $\mu$ with $X_i$ divided by $\sigma$,

$$\frac{(X_i-\mu)^2}{\sigma^2} = \left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2$$ has a Chi-squared distribution, which is the distribution of the square $Z^2$ of a standard Normal $Z\sim N(0,1)$, which I am sure you noticed has absolutely no information about either $\mu$ nor $\sigma^2$, but conveys information about the variability you should expect to face.

That is a very well known distribution that arises naturally from the very scenario of you gambling problem for every single one of your ten observations and also from your mean:

$$\frac{(\bar X-\mu)^2}{\sigma^2/10} = \left(\frac{\bar X-\mu}{\sigma/\sqrt{10}}\right)^2 = \left(N(0,1)\right)^2 \sim\chi^2$$ and also from the gathering of your ten observations' variation: $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\mu}{\sigma/\sqrt{10}}\right)^2 =\sum_{i=1}^{10} \left(N(0,1)\right)^2 =\sum_{i=1}^{10} \chi^2.$$ Now that last guy doesn't have a Chi-squared distribution, because he is the sum of ten of those Chi-squared distributions, all of them independent from one another (because so are $X_1, \ldots, X_{10}$). Each one of those single Chi-squared distribution is one contribution to the amount of random variability you should expect to face, with roughly the same amount of contribution to the sum.

The value of each contribution is not mathematically equal to the other nine, but all of them have the same expected behavior in distribution. In that sense, they are somehow symmetric.

Each one of those Chi-square is one contribution to the amount of pure, random variability you should expect in that sum.

If you had 100 observations, the sum above would be expected to be bigger just because it have more sources of contibutions.

Each of those "sources of contributions" with the same behavior can be called degree of freedom.

Now take one or two steps back, re-read the previous paragraphs if needed to accommodate the sudden arrival of your quested-for degree of freedom.

Yep, each degree of freedom can be thought of as one unit of variability that is obligatorily expected to occur and that brings nothing to the improvement of guessing of $\mu$ or $\sigma^2$.

The thing is, you start to count on the behavior of those 10 equivalent sources of variability. If you had 100 observations, you would have 100 independent equally-behaved sources of strictly random fluctuation to that sum.

That sum of 10 Chi-squares gets called a Chi-squared distributions with 10 degrees of freedom from now on, and written $\chi^2_{10}$. We can describe what to expect from it starting from its probability density function, that can be mathematically derived from the density from that single Chi-squared distribution (from now on called Chi-squared distribution with one degree of freedom and written $\chi^2_1$), that can be mathematically derived from the density of the normal distribution.

"So what?" --- you might be thinking --- "That is of any good only if God took the time to tell me the values of $\mu$ and $\sigma^2$, of all the things He could tell me!"

Indeed, if God Almighty were too busy to tell you the values of $\mu$ and $\sigma^2$, you would still have that 10 sources, that 10 degrees of freedom.

Things start to get weird (Hahahaha; only now!) when you rebel against God and try and get along all by yourself, without expecting Him to patronize you.

You have $\bar X$ and $S^2$, estimators for $\mu$ and $\sigma^2$. You can find your way to a safer bet.

You could consider calculating the sum above with $\bar X$ and $S^2$ in the places of $\mu$ and $\sigma^2$:

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\bar X}{S/\sqrt{10}}\right)^2,$$ but that is not the same as the original sum.

"Why not?" The term inside the square of both sums are very different. For instance, it is unlikely but possible that all your observations end up being larger than $\mu$, in which case $(X_i-\mu) > 0$, which implies $\sum_{i=1}^{10}(X_i-\mu) > 0$, but, by its turn, $\sum_{i=1}^{10}(X_i-\bar X) = 0$, because $\sum_{i=1}^{10}X_i-10 \bar X =10 \bar X - 10 \bar X = 0$.

Worse, you can prove easily (Hahahaha; right!) that $\sum_{i=1}^{10}(X_i-\bar X)^2 \le \sum_{i=1}^{10}(X_i-\mu)^2$ with strict inequality when at least two observations are different (which is not unusual).

"But wait! There's more!"

$$\frac{X_i-\bar X}{S/\sqrt{10}}$$ doesn't have standard normal distribution, $$\frac{(X_i-\bar X)^2}{S^2/10}$$ doesn't have Chi-squared distribution with one degree of freedom, $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10}$$ doesn't have Chi-squared distribution with 10 degrees of freedom $$\frac{\bar X-\mu}{S/\sqrt{10}}$$ doesn't have standard normal distribution.

"Was it all for nothing?"

No way. Now comes the magic! Note that

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[X_i-\mu+\mu-\bar X]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[(X_i-\mu)-(\bar X-\mu)]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-2(X_i-\mu)(\bar X-\mu)+(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\sum_{i=1}^{10} \frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-10\frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\frac{(\bar X-\mu)^2}{\sigma^2/10}$$ or, equivalently, $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} +\frac{(\bar X-\mu)^2}{\sigma^2/10}.$$ Now we get back to those known faces.

The first term has Chi-squared distribution with 10 degrees of freedom and the last term has Chi-squared distribution with one degree of freedom(!).

We simply split a Chi-square with 10 independent equally-behaved sources of variability in two parts, both positive: one part is a Chi-square with one source of variability and the other we can prove (leap of faith? win by W.O.?) to be also a Chi-square with 9 (= 10-1) independent equally-behaved sources of variability, with both parts independent from one another.

This is already a good news, since now we have its distribution.

Alas, it uses $\sigma^2$, to which we have no access (recall that God is amusing Himself on watching our struggle).

Well,

$$S^2=\frac{1}{10-1}\sum_{i=1}^{10} (X_i-\bar X)^2,$$ so $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\frac{\sum_{i=1}^{10} (X_i-\bar X)^2}{\sigma^2} =\frac{(10-1)S^2}{\sigma^2} \sim\chi^2_{(10-1)}$$ therefore $$\frac{\bar X-\mu}{S/\sqrt{10}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\frac{S}{\sigma}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{S^2}{\sigma^2}}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{\frac{(10-1)S^2}{\sigma^2}}{(10-1)}}} =\frac{N(0,1)}{\sqrt{\frac{\chi^2_{(10-1)}}{(10-1)}}},$$ which is a distribution that is not the standard normal, but whose density can be derived from the densities of the standard normal and the Chi-squared with $(10-1)$ degrees of freedom.

One very, very smart guy did that math[^1] in the beginning of 20th century and, as an unintended consequence, he made his boss the absolute world leader in the industry of Stout beer. I am talking about William Sealy Gosset (a.k.a. Student; yes, that Student, from the $t$ distribution) and Saint James's Gate Brewery (a.k.a. Guinness Brewery), of which I am a devout.

[^1]: @whuber told in the comments below that Gosset did not do the math, but guessed instead! I really don't know which feat is more surprising for that time.

That, my dear friend, is the origin of the $t$ distribution with $(10-1)$ degrees of freedom. The ratio of a standard normal and the squared root of an independent Chi-square divided by its degrees of freedom, which, in an unpredictable turn of tides, wind up describing the expected behavior of the estimation error you undergo when using the sample average $\bar X$ to estimate $\mu$ and using $S^2$ to estimate the variability of $\bar X$.

There you go. With an awful lot of technical details grossly swept behind the rug, but not depending solely on God's intervention to dangerously bet your whole paycheck.

Інтуїтивне пояснення ступенів свободи полягає в тому, що вони представляють кількість незалежних відомостей, доступних у даних для оцінки параметра (тобто невідомої кількості), що цікавить .

Як приклад, у простій лінійній регресійній моделі форми:

$$Y_i=\beta_0 + \beta_1\cdot X_i + \epsilon_i,\quad i=1,\ldots, n$$

де $\epsilon_i$представляють незалежні нормально розподілені помилки з середнім значенням 0 і стандартним відхиленням $\sigma$, ми використовуємо 1 ступінь свободи для оцінки перехоплення $\beta_0$ та 1 ступінь свободи для оцінки схилу $\beta_1$. З того часу, як ми почали с$n$ спостереження та використані 2 ступеня свободи (тобто, два незалежні частини інформації), нам залишається $n-2$ degrees of freedom (i.e., $n-2$ independent pieces of information) available for estimating the error standard deviation $\sigma$.

Ви можете бачити ступінь свободи як кількість спостережень мінус кількість необхідних співвідношень між цими спостереженнями. Прикладом, якщо у вас є$n$ зразок незалежних спостережень нормального розподілу $X_1,\dots,X_n$. Випадкова величина$\sum_{i=1}^n (X_i-\overline{X}_n)^2\sim \mathcal{X}^2_{n-1}$, де $\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$. Ступінь свободи тут є$n-1$ тому що їхнє одне необхідне співвідношення між тезами спостережень $(\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i)$.

Для отримання додаткової інформації див. Це

Для мене першим поясненням я зрозумів:

Якщо ви знаєте якесь статистичне значення, наприклад, середнє значення чи зміна, скільки змінних даних вам потрібно знати, перш ніж ви зможете дізнатися значення кожної змінної?

Це те саме, що було сказано aL3xa, але не надаючи жодної точки даних особливої ​​ролі і близької до третього випадку, наведеного у відповіді. Таким чином, такий же приклад:

Якщо ви знаєте середнє значення даних, вам потрібно знати значення для всіх, крім однієї точки даних, щоб знати значення для всіх точок даних.

Думай про це так. Варіанти є добавками, коли вони незалежні. Наприклад, припустимо, що ми кидаємо дротики на дошку і вимірюємо стандартні відхилення$x$ і $y$зміщення від точного центру дошки. Тоді$V_{x,y}=V_x+V_y$. Але,$V_x=SD_x^2$ якщо ми візьмемо квадратний корінь $V_{x,y}$ формулою, ми отримуємо формулу відстані для ортогональних координат, $SD_{x,y}=\sqrt{SD_x^2+SD_y^2}$. Тепер все, що ми маємо показати, - це те, що стандартне відхилення є репрезентативною мірою зміщення вдалину від центра дошки дротика. З тих пір$SD_x=\sqrt{\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}}$, ми маємо готові засоби обговорення df. Зауважте, що коли$n=1$, тоді $x_1-\bar{x}=0$ і співвідношення $\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}\rightarrow \dfrac{0}{0}$. Іншими словами, між одним дротиком немає відхилень$x$-координація і себе. Перший раз у нас є відхилення$n=2$і є лише одна з них - дублікат. Це повторне відхилення - це відстань у квадраті$x_1$ або $x_2$ і $\bar{x}=\dfrac{x_1+x_2}{2}$ оскільки $\bar{x}$ є середньою точкою між або середньою $x_1$ і $x_2$. Загалом для$n$ відстані ми видаляємо 1, оскільки $\bar{x}$ залежить від усіх $n$цих відстаней. Тепер,$n-1$являє собою ступені свободи, оскільки вона нормалізується для кількості унікальних результатів, щоб зробити очікувану квадратну відстань. при поділі на суму цих квадратних відстаней.