Чи може ступінь свободи бути цілим числом?

Коли я використовую GAM, це дає мені залишковий коефіцієнт DF (останній рядок у коді). Що це означає? Виходячи за приклад GAM, загалом, чи може число ступенів свободи бути нецілим числом? $26.6$

> library(gam)
> summary(gam(mpg~lo(wt),data=mtcars))

Call: gam(formula = mpg ~ lo(wt), data = mtcars)
Deviance Residuals:
    Min      1Q  Median      3Q     Max 
-4.1470 -1.6217 -0.8971  1.2445  6.0516 

(Dispersion Parameter for gaussian family taken to be 6.6717)

    Null Deviance: 1126.047 on 31 degrees of freedom
Residual Deviance: 177.4662 on 26.6 degrees of freedom
AIC: 158.4294 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
            Df Sum Sq Mean Sq F value    Pr(>F)    
lo(wt)     1.0 847.73  847.73  127.06 1.239e-11 ***
Residuals 26.6 177.47    6.67

r degrees-of-freedom gam machine-learning pca lasso probability self-study bootstrap expected-value regression machine-learning linear-model probability simulation random-generation machine-learning distributions svm libsvm classification pca multivariate-analysis feature-selection archaeology r regression dataset simulation r regression time-series forecasting predictive-models r mean sem lavaan machine-learning regularization regression conv-neural-network convolution classification deep-learning conv-neural-network regression categorical-data econometrics r confirmatory-factor scale-invariance self-study unbiased-estimator mse regression residuals sampling random-variable sample probability random-variable convergence r survival weibull references autocorrelation hypothesis-testing distributions correlation regression statistical-significance regression-coefficients univariate categorical-data chi-squared regression machine-learning multiple-regression categorical-data linear-model pca factor-analysis factor-rotation classification scikit-learn logistic p-value regression panel-data multilevel-analysis variance bootstrap bias probability r distributions interquartile time-series hypothesis-testing normal-distribution normality-assumption kurtosis arima panel-data stata clustered-standard-errors machine-learning optimization lasso multivariate-analysis ancova machine-learning cross-validation

— Хайтао Ду
джерело

Загалом, так, df може бути числом з плаваючою точкою.

— Девід Лейн

Ви, мабуть, хочете запитати про реальне число (або число, яке не є цілим числом); число з плаваючою комою - це комп'ютерна концепція (спосіб наближення реальних чисел), що стосується реалізації, але ви насправді запитуєте про основну математичну ідею (і так краще задати математичне запитання). Часто трапляються ситуації, коли (з тієї чи іншої причини, не завжди хорошої) величина, яка концептуально є цілим числом, все ж у реалізації зберігається як число з плаваючою комою. Я пропоную "Чи може модель мати цілі ступені свободи?" за титулом.

— Glen_b -Встановіть Моніку

Ступінь свободи не є цілим у ряді контекстів. Дійсно, за кількох обставин ви можете встановити, що ступінь свободи пристосування даних для деяких конкретних моделей повинна бути між деяким значенням $k$ і $k+1$ .

Зазвичай ми вважаємо ступінь свободи як кількість вільних параметрів, але бувають ситуації, коли параметри не є абсолютно вільними, і їх потім важко підрахувати. Це може статися, наприклад, при згладжуванні / регуляризації.

Приклади локально зважених регресійних / ядерних методів згладжування сплайнів є прикладами такої ситуації - загальна кількість вільних параметрів - це не те, на що можна легко порахувати, додаючи прогнози, тому потрібно більш загальне уявлення про ступінь свободи.

У Узагальнених адитивних моделях , на яких gamчастково заснована, Гест і Tibshirani (1990) [1] (та й у багатьох інших посиланнях) для деяких моделей , в яких ми можемо написати , ступеня свободи іноді беруться (вони також обговорюють або ). Перший відповідає більш звичному підходу, коли обидва працюють (наприклад, в регресії, де в нормальних ситуаціях $\hat y = Ay$ $\operatorname{tr}(A)$ $\operatorname{tr}(AA^T)$ $\operatorname{tr}(2A-AA^T)$ $\operatorname{tr}(A)$ буде розміром стовпця $X$ ), але коли $A$ симетричний і ідентичний, усі три ці формули однакові.

[У мене немає такої довідки, щоб перевірити достатньо деталей; альтернативою тих же авторів (плюс Фрідмана), з якою легко здобутись, є елементи статистичного навчання [2]; див., наприклад, рівняння 5.16, яке визначає ефективні ступені свободи згладжуючого сплайна як $\operatorname{tr}(A)$ (у моєму позначенні)]

У більш загальному плані до сих пір, Е. (1998) [3] , певні узагальнені ступені свободи як $\sum_i \frac{\partial \hat y_i}{\partial y_i}$ , що є сумою чутливості пристосованих значень до відповідних спостережень. У свою чергу, це узгоджується з $\operatorname{tr}(A)$ де це визначення працює. Для використання визначення Ye потрібно лише обчислювати $\hat y$ $\frac{\partial \hat y_i}{\partial y_i}$

Для таких моделей, як ті, на які встановлено gam, ці різні заходи, як правило, не є цілими.

(Я настійно рекомендую прочитати обговорення цих посилань з цього питання, хоча історія може ускладнитися в деяких ситуаціях. Див., Наприклад, [4])

[1] Хасті, Т. і Тібшірані, Р. (1990),
Узагальнені моделі адитивів
Лондон: Чапман і Холл.

[2] Хасті, Т., Тібшірані, Р. і Фрідман, Дж. (2009),
Елементи статистичного навчання: видобуток даних , умовиводи та прогнозування , 2ndEd
Springer-Verlag.
https://statweb.stanford.edu/~tibs/ElemStatLearn/

[3] Ye, J. (1998),
"Про вимірювання та корекцію ефектів видобутку даних та вибір моделей",
журнал Американської статистичної асоціації , Vol. 93, № 441, стор 120-131

[4] Janson, L., Fithian, W. and Hastie, T. (2013),
"Ефективні ступені свободи: невдала метафора"
https://arxiv.org/abs/1312.7851

— Glen_b -Встановити Моніку
джерело

Це не має відношення до цього випадку, але тест Велча в двох зразках t, коли дисперсії неоднакові, можуть мати не ціле число градусів свободи.

— Майкл Р. Черник

Як може коригувати епсилон df в повторних заходах ANOVA.

— Девід Лейн

Інша посилання - statweb.stanford.edu/~tibs/ElemStatLearn/printings/… розділ 5.4.1 Градуси свободи та більш гладкі матриці

— Адріан

@Adrian спасибі; Я підкидав, чи варто додавати саме цю посилання (і зокрема, чи варто згадувати рівняння 5.16 у розділі, на який ви вказуєте). Я зробив висновок, що це гарна ідея додати його.

— Glen_b -Встановити Моніку