Покрокова лінійна обчислення алгебри з регресією найменших квадратів

Як приворот до питання про лінійно-змішані моделі в R, і поділитися як орієнтир для початківців / проміжних прихильників статистики, я вирішив опублікувати як незалежний "Q & A-стиль" кроки, пов'язані з "ручним" обчисленням коефіцієнти та прогнозовані значення простої лінійної регресії.

Приклад - вбудований R набір даних, mtcarsі він буде встановлений як милі на галон, споживаний транспортним засобом, що діє як незалежна змінна, регресуючи над вагою автомобіля (безперервна змінна) та кількістю циліндрів як фактор з трьома рівнями (4, 6 або 8) без взаємодій.

EDIT: Якщо вас зацікавило це запитання, ви обов'язково знайдете детальну та задовільну відповідь у цьому дописі від Matthew Drury поза резюме .

Примітка . Я розмістив розширену версію цієї відповіді на своєму веб-сайті .

Ви б ласкаво розглянути можливість розміщення подібної відповіді з фактичним R-двигуном?

Звичайно! Вниз по кролячій норі ми йдемо.

Перший шар - lmце інтерфейс, підданий дії програміста R. Ви можете подивитися джерело цього, просто набравши lmконсоль R. Більшість із них (як і більшість більшості кодів виробництва) займається перевіркою входів, встановленням атрибутів об'єкта та викидом помилок; але ця лінія просувається

lm.fit(x, y, offset = offset, singular.ok = singular.ok, 
                ...)

lm.fit- це ще одна функція R, її можна назвати самостійно. Хоча lmзручно працювати з формулами та фреймом даних, lm.fitпотрібні матриці, тому цей рівень абстракції видалений. Перевірка джерела на наявність lm.fitбільш зайнятої роботи та наступний дійсно цікавий рядок

z <- .Call(C_Cdqrls, x, y, tol, FALSE)

Зараз ми кудись дістаємось. .Call- спосіб R ввести код C. У джерелі R десь є функція C, C_Cdqrls, і нам потрібно її знайти. Ось воно .

Знову, дивлячись на функцію C, ми знову виявляємо межі перевірки меж, очищення помилок та напруженої роботи. Але ця лінія інша

F77_CALL(dqrls)(REAL(qr), &n, &p, REAL(y), &ny, &rtol,
        REAL(coefficients), REAL(residuals), REAL(effects),
        &rank, INTEGER(pivot), REAL(qraux), work);

Отож, зараз ми на своїй третій мові, R назвав C, який закликає фортран. Ось код fortran .

Перший коментар розповідає все це

c     dqrfit is a subroutine to compute least squares solutions
c     to the system
c
c     (1)               x * b = y

(що цікаво, схоже, що назва цього розпорядку в певний момент було змінено, але хтось забув оновити коментар). Таким чином, ми нарешті знаходимося в точці, коли ми можемо зробити лінійну алгебру і реально вирішити систему рівнянь. Це така річ, у якій справді хороший фортран, який пояснює, чому ми пройшли через стільки шарів, щоб потрапити сюди.

У коментарі також пояснюється, що збирається робити код

c     on return
c
c        x      contains the output array from dqrdc2.
c               namely the qr decomposition of x stored in
c               compact form.

Тож fortran збирається вирішити систему, знайшовши розклад .$QR$

Перше, що відбувається, і, безумовно, найважливіше, - це

call dqrdc2(x,n,n,p,tol,k,qraux,jpvt,work)

Це викликає функцію fortran dqrdc2на вхідній матриці x. Що це?

 c     dqrfit uses the linpack routines dqrdc and dqrsl.

Отже, ми нарешті домігся до того, щоб розмовити . Лінпак - це бібліотека лінійної алгебри фортрана, яка існує з 70-х років. Більшість серйозних лінійних алгебр в кінцевому підсумку знаходить свій шлях до виправлення. У нашому випадку ми використовуємо функцію dqrdc2

c     dqrdc2 uses householder transformations to compute the qr
c     factorization of an n by p matrix x.

Тут робиться фактична робота. Мені знадобився б повний повний день, щоб зрозуміти, що робить цей код, він настільки ж низький, як вони приходять. Але загалом у нас є матриця і ми хочемо її розподілити на добуток де - ортогональна матриця, а - верхня трикутна матриця. Це розумно зробити, тому що, маючи і ви можете вирішити лінійні рівняння для регресіїX = Q R Q R Q $X$$X = QR$$Q$$R$$Q$$R$

дуже легко. Справді

так стає вся система

але є верхнім трикутним і має той же ранг, що і , так що поки наша проблема добре поставлена, вона є повноцінною, і ми можемо просто вирішити скорочену системуX t$R$$X^t X$

Але ось дивовижна річ. верхній трикутний, тому останнє лінійне рівняння тут просто , тому рішення для тривіальне. Потім ви можете підняти рядки, по черзі, і підміняти в які ви вже знаєте, щоразу отримуючи просте одне змінне лінійне рівняння для вирішення. Отже, як тільки у вас є і , вся справа руйнується до того, що називається зворотною заміною , що легко. Ви можете прочитати про це більш докладно тут , де повністю розроблений явний невеликий приклад.β n β Q $R$constant * beta_n = constant$\beta_n$$\beta$$Q$$R$

Фактичні покрокові розрахунки в R прекрасно описані у відповіді Метью Дрірі в цій самій нитці. У цій відповіді я хочу ознайомитись із процесом доведення себе, що результати R на простому прикладі можна досягти, слідуючи лінійній алгебрі проекцій на простір стовпця та концепції перпендикулярних (крапкових добутків) помилок, проілюстрованих у різних постах , і це добре пояснив доктор Странг у " Лінійній алгебрі та її додатках" , і тут легко можна отримати доступ .

$\small \beta$

$\small D1$$\small D2$$\small X$

attach(mtcars)    
x1 <- wt

    x2 <- cyl; x2[x2==4] <- 1; x2[!x2==1] <-0

    x3 <- cyl; x3[x3==6] <- 1; x3[!x3==1] <-0

    x4 <- cyl; x4[x4==8] <- 1; x4[!x4==1] <-0

    X <- cbind(x1, x2, x3, x4)
    colnames(X) <-c('wt','4cyl', '6cyl', '8cyl')

head(X)
        wt 4cyl 6cyl 8cyl
[1,] 2.620    0    1    0
[2,] 2.875    0    1    0
[3,] 2.320    1    0    0
[4,] 3.215    0    1    0
[5,] 3.440    0    0    1
[6,] 3.460    0    1    0

$\small [*]$lm

$\small\beta$$\small ProjMatrix = \small (X^{T}X)^{-1}X^{T}$$\small [ProjMatrix] \,[y]\, =\, [RegrCoef's]$$\small (X^{T}X)^{-1}X^{T}\,y = \beta$

X_tr_X_inv <- solve(t(X) %*% X)    
Proj_M <- X_tr_X_inv %*% t(X)
Proj_M %*% mpg

          [,1]
wt   -3.205613
4cyl 33.990794
6cyl 29.735212
8cyl 27.919934

Ідентичний: coef(lm(mpg ~ wt + as.factor(cyl)-1)).

$\small Hat Matrix = \small X(X^{T}X)^{-1}X^{T}$

HAT <- X %*% X_tr_X_inv %*% t(X)

$\hat{y}$$\small X(X^{T}X)^{-1}X^{T}\,y$y_hat <- HAT %*% mpg

cyl <- as.factor(cyl); OLS <- lm(mpg ~ wt + cyl); predict(OLS):

y_hat <- as.numeric(y_hat)
predicted <- as.numeric(predict(OLS))
all.equal(y_hat,predicted)
[1] TRUE