Чи має

18

Здається, я переплутав себе, намагаючись зрозуміти, чи значення квадрата також має -значення. $r$ $p$

Як я розумію, у лінійній кореляції з набором точок даних може мати значення в межах від до і це значення, яке б воно не було, може мати -значення, яке показує, чи суттєво відрізняється від (тобто , якщо між двома змінними існує лінійна кореляція). $r$ $-1$ $1$ $p$ $r$ $0$

Переходячи до лінійної регресії, функція може бути встановлена на даних, що описуються рівнянням . і (перехоплення та нахил) також мають -значення, які показують, чи вони суттєво відрізняються від . $Y = a + bX$ $a$ $b$ $p$ $0$

Якщо припустити, що я зрозумів, що все правильно, чи -значення для а -значення для - те саме? Є чи це то правильно сказати , що це не -squared , що має -значення а або , що робить? $p$ $r$ $p$ $b$ $r$ $p$ $r$ $b$

statistical-significance p-value r-squared

— user1357
джерело

14

На додаток до численних (правильних) коментарів інших користувачів, які вказують, що -значення для є ідентичним -значення для глобального тесту , зауважте, що ви також можете отримати -значення, пов'язане з " безпосередньо ", використовуючи той факт, що під нульовою гіпотезою розподіляється як $p$ $r^2$ $p$ $F$ $p$ $r^2$ $r^2$ , деіце чисельність і знаменник ступенів свободи відповідно для асоційованого-статистичного. $\textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ $v_n$ $v_d$ $F$

Третя точка кулі в підрозділі " Отримане з інших дистрибутивів " запису Вікіпедії на бета-розподілі говорить нам, що:

Якщо і незалежні, то $X \sim \chi^2(\alpha)$ $Y \sim \chi^2(\beta)$ . $\frac{X}{X+Y} \sim \textrm{Beta}(\frac{\alpha}{2}, \frac{\beta}{2})$

Що ж, ми можемо записати в цей $r^2$ форма. $\frac{X}{X+Y}$

Нехай - загальна сума квадратів для змінної , - сума помилок у квадраті для регресії на деяких інших змінних, а - "сума квадратів, зменшених", тобто . Тоді $SS_Y$ $Y$ $SS_E$ $Y$ $SS_R$ $SS_R=SS_Y-SS_E$ І звичайно, будучи сумами квадратів,іобидва розподіляються якзіступенями свободи відповідно. Тому

r^{2} = 1 - \frac{S S_{E}}{S S_{Y}} = \frac{S S_{Y} - S S_{E}}{S S_{Y}} = \frac{S S_{R}}{S S_{R} + S S_{E}}

$r^2=1-\frac{SS_E}{SS_Y}=\frac{SS_Y-SS_E}{SS_Y}=\frac{SS_R}{SS_R+SS_E}$

S S_{R}

$SS_R$

S S_{E}

$SS_E$

χ^{2}

$\chi^2$

v_{n}

$v_n$

v_{d}

$v_d$

(Звичайно, я не показав, що два ква-квадрати є незалежними. Можливо, коментатор може щось про це сказати.)

r^{2} \sim Beta (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$r^2 \sim \textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$

Демонстрація в R (запозичення коду у @gung):

set.seed(111)
x = runif(20)
y = 5 + rnorm(20)
cor.test(x,y)

# Pearson's product-moment correlation
# 
# data:  x and y
# t = 1.151, df = 18, p-value = 0.2648
# alternative hypothesis: true correlation is not equal to 0
# 95 percent confidence interval:
#  -0.2043606  0.6312210
# sample estimates:
#       cor 
# 0.2618393 

summary(lm(y~x))

# Call:
#   lm(formula = y ~ x)
# 
# Residuals:
#     Min      1Q  Median      3Q     Max 
# -1.6399 -0.6246  0.1968  0.5168  2.0355 
# 
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   4.6077     0.4534  10.163 6.96e-09 ***
# x             1.1121     0.9662   1.151    0.265    
# ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 1.061 on 18 degrees of freedom
# Multiple R-squared:  0.06856,  Adjusted R-squared:  0.01681 
# F-statistic: 1.325 on 1 and 18 DF,  p-value: 0.2648

1 - pbeta(0.06856, 1/2, 18/2)

# [1] 0.2647731

— Джейк Вестфалл
джерело

6

Я сподіваюся, що ця четверта (!) Відповідь ще більше роз'яснює речі.

У простій лінійній регресії є три еквівалентні тести:

t-випробування на нульовий схил популяції $X$
t-тест на нульову кореляцію популяції між та відповіддю $X$ $Y$
F-тест для нульової популяції R-квадрат, тобто нічого мінливості можна пояснити різними . $Y$ $X$

Усі три тести перевіряють лінійну асоціацію між та і, на щастя (!), Всі вони призводять до одного результату. Їх статистика тестів рівнозначна. (Тести 1 і 2 базуються на розподілі Стьюдента з df, що відповідає вибірковому F-розподілу тесту 3, просто за статистикою квадратного тесту). $X$ $Y$ $n-2$

Короткий приклад на R:

# Input
set.seed(3)

n <- 100
X <- runif(n)
Y <- rnorm(n) + X

cor.test(~ X + Y) # For test 2 (correlation)

# Output (part)
# t = 3.1472, df = 98, p-value = 0.002184
# alternative hypothesis: true correlation is not equal to 0

# Input (for the other two tests)
fit <- lm(Y ~ X)
summary(fit)      

# Output (partial)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -0.03173    0.18214  -0.174  0.86204   
X            1.02051    0.32426   3.147  0.00218 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.9239 on 98 degrees of freedom
Multiple R-squared:  0.09179,   Adjusted R-squared:  0.08253 
F-statistic: 9.905 on 1 and 98 DF,  p-value: 0.002184

Як бачимо, три тести дають однакове p значення 0,00218. Зауважте, що тест 3 - це той, що знаходиться в останньому рядку виводу.

Тож ваш F-тест для R-квадрата є дуже частим, хоча не багато статистиків трактують це як тест для R-квадрата.

— Михайло М
джерело

5

Ви, здається, маєте до мене гідне розуміння. Ми могли б отримати -значення для , але оскільки це (нестахастична) функція , s була б ідентичною. $p$ $r^2$ $r$ $p$

— gung - Відновити Моніку
джерело

Я не думаю, що так. Підключення умовиводу про

і

до висновку про

і

від OLS,

є значущим, якщо

ненульовий, незалежно від

. Однак

є значущим, якщо або

або

не дорівнює нулю. Це допомагає наочно оцінити відповідні тести.

ρ

$\rho$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

ρ

$\rho$

β

$\beta$

α

$\alpha$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

— AdamO

1

@AdamO, я не можу слідкувати за аргументом у вашому коментарі. Подібно до публікації Майкла Майєра нижче, у R try : set.seed(111); x = runif(20); y = 5 + rnorm(20); cor.test(x,y); summary(lm(y~x)). P для r є .265. P для b & для глобального тесту F є ідентичними, навіть якщо p для a є 6.96e-09.

— gung - Відновіть Моніку

Точно моя думка.

відрізняється від

і їх

-значення НЕ тотожне.

може бути функцією

, але це навіть не монотонна функція.

може бути значущим, коли

- ні. Що вимірює

? Це залишкова стандартна помилка після нанесення трендової лінії OLS та обчислення залишків. Чи буде у вашому прикладі залишкова дисперсія меншою від безумовної дисперсії

? Зовсім.

r

$r$

r^{2}

$r^2$

p

$p$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

Y

$Y$

r^{2}

$r^2$ є значущим тоді. Ви можете обчислити робочі характеристики за допомогою завантажувального пристрою, а також зв'язок між ANOVA та звичайними найменшими квадратами також проливає світло на питання.

— AdamO

4

Ви також можете отримати

-значення, пов'язане з

"безпосередньо", використовуючи той факт, що

під нульовою гіпотезою розподіляється як

p

$p$

r^{2}

$r^2$

r^{2}

$r^2$

, де

і

це чисельність і знаменник ступенів свободи відповідно для асоційованого

-статистичного. (Див. Третю особу тут:en.wikipedia.org/wiki/….) Отже, використовуючи приклади даних @ gung, якщоми введемо,ми отримаємо.

B e t a (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$Beta(\frac{v_n}{2},\frac{v_d}{2})$

v_{n}

$v_n$

v_{d}

$v_d$

F

$F$ R1 - pbeta(0.06856, 1/2, 18/2)0.2647731

— Джейк Уестпад

4

@AdamO, я все ще не розумію. Вони обоє .265, як вони не тотожні?

— gung - Відновіть Моніку

4

Існує кілька способів виведення тестової статистики для тестів кореляції Пірсона, . Для отримання -значення варто підкреслити, що вам потрібно як тест, так і розподіл вибірки тестової статистики під нульовою гіпотезою. У вашій назві та питанні, здається, є деяка плутанина між кореляцією Пірсона та "поясненою дисперсією" $\rho$ $p$ $r^2$ . Я спочатку розгляну коефіцієнт кореляції.

Немає "найкращого" способу перевірити співвідношення Пірсона, яке мені відомо. Перетворення Z Фішера є одним з таких способів, заснованих на гіперболічних перетвореннях, так що умовивід є трохи більш ефективним. Це, безумовно, "хороший" підхід, але сумно, що висновок для цього параметра узгоджується з висновком про параметр нахилу $\beta$ для об'єднання: вони розповідають ту саму історію в перспективі.

Причина , по статистиці має (класичний) повністю переважні випробування , тому що ми дійсно є «кращий» тест: лінійна регресія, яка є синім оцінювачем. За часів сучасної статистики нас дуже не хвилює, чи тест вже є "найкращим", але лінійна регресія має безліч інших фантастичних властивостей, які виправдовують її подальше використання для визначення асоціації між двома змінними. Загалом, ваша інтуїція правильна: вони по суті одне і те ж, і ми зосереджуємо свою увагу на $\beta$ $\beta$ як більш практичній мірі асоціації.

є функцією як схилу і перехоплення. Якщо будь-яке з цих значень є ненульовим, повинен мати помітний розподіл вибірки щодо того, який можна було б очікувати, якщо лінійні параметри були нульовими. Однак виведення розподілів під нульове значення і порівняння з $r^2$ $r^2$ $r^2$ $r^2$ за деякими альтернативними гіпотезами не дає мені великої впевненості, що цей тест має велику силу для виявлення того, що ми хочемо. Просто відчуття кишки. Знову звертаючись до "кращих" оцінювачів, OLS дає нам "найкращі" оцінки як нахилу, так і перехоплення, тому ми маємо впевненість, що наш тест є принаймні хорошим для визначення тієї ж (якщо є) асоціації шляхом прямого тестування параметрів моделі. . Для мене спільне тестування і з OLS перевершує будь-який тест про за винятком рідкісного випадку (можливо) невкладеного додатку для калібрування прогнозного моделювання ... але BIC, можливо, буде кращим показником у цьому сценарії все одно. $\alpha$ $\beta$ $r^2$

— АдамО
джерело

1

r^{2}

$r^2$

Sure. Recall that if observed data perfectly correspond with the trendline, then

r^{2} = 1

$r^2 = 1$ exactly. Consider "flat response" data with no variability but a non-zero intercept, so all tuples take the form

(x_{i}, β_{0})

$(x_i, \beta_0)$ for all

i \in {1, 2, \dots n}

$i \in \{ 1, 2, \ldots n \}$ .

r^{2} = 1

$r^2 = 1$ as alluded to. The coefficient of determination serves as a reasonable summary of predictive ability for a linear equation, and obtaining those predictions requires both a slope and an intercept.

— AdamO

1

This isn't quite how I would interpret things. I don't think I'd ever calculate a $p$ -value for $r$ or $r^2$ . $r$ and $r^2$ are qualitative measures of a model, not measures that we're comparing to a distribution, so a $p$ -value doesn't really make sense.

Getting a $p$ -value for $b$ makes a lot of sense - that's what tells you whether the model has a linear relationship or not. If $b$ is statistically significantly different from $0$ then you conclude that there is a linear relationship between the variables. The $r$ or $r^2$ then tells you how well the model explains the variation in the data. If $r^2$ is low, then your independent variable isn't helping to explain very much about the dependent variable.

A $p$ -value for $a$ tells us if the intercept is statistically significantly different from $0$ or not. This is of varying usefulness, depending on the data. My favorite example: if you do a linear regression between gestation time and birth weight you might find an intercept of, say, 8 ounces that is statistically different from $0$ . However, since the intercept represents a gestation age of $0$ weeks, it doesn't really mean anything.

If anyone does regularly calculate $p$ -values for an $r^2$ I'd be interested in hearing about them.

— Duncan
джерело

4

Take a closer look at the output of your favorite regression command: it should report an

F

$F$ statistic and a p-value for it. That is also the p-value for the

R^{2}

$R^2$ , because

F

$F$ and

R^{2}

$R^2$ are directly and monotonically related. For ordinary regression with

n

$n$ data,

F = (n - 2) R^{2} / (1 - R^{2})

$F = (n-2)R^2/(1-R^2)$ . Its p-value will be the p-value for the slope. Therefore if you have ever used a p-value for

b

$b$ in ordinary regression, you have used a p-value for

R^{2}

$R^2$ .

— whuber

In practice it seems like people do not think in terms of the significance of r or r^2. What might be more useful is a confidence interval around them.

— N Brouwer