Порядкові відстані махаланобіса

Мені потрібно обчислити вибірку відстані махаланобіса в R між кожною парою спостережень в матриці коваріатів . Мені потрібно рішення , яке є ефективним, тобто тільки відстані обчислюються, і переважно реалізовані в C / RCpp / Fortran і т.д. Я вважаю , що , матриця коваріації населення, невідомий і використовувати зразок коваріаційна матриця на своєму місці.n ( n - 1 ) / 2 $n \times p$$n(n-1)/2$$\Sigma$

Мене особливо цікавить це питання, оскільки, здається, немає "консенсусного" методу обчислення попарно махаланобісових відстаней у R, тобто він не реалізований distні у функції, ні у cluster::daisyфункції. mahalanobisФункція не вирахував попарні відстані без додаткової роботи від програміста.

Про це вже запитували тут Пара-махаланобіс відстань в R , але рішення там здаються неправильними.

Ось правильний, але жахливо неефективний метод (оскільки обчислюється відстаней):$n \times n$

set.seed(0)
x0 <- MASS::mvrnorm(33,1:10,diag(c(seq(1,1/2,l=10)),10))
dM = as.dist(apply(x0, 1, function(i) mahalanobis(x0, i, cov = cov(x0))))

Це досить просто, щоб зашифрувати себе в C, але я відчуваю, що щось таке основне повинно мати попереднє рішення. Є такий?

Існують і інші рішення, які не стикаються: HDMD::pairwise.mahalanobis()обчислює відстаней, коли потрібно лише унікальних відстаней. здається багатообіцяючою, але я не хочу, щоб моя функція походила від пакета, від якого залежить , що суттєво обмежує здатність інших запускати мій код. Якщо ця реалізація не є досконалою, я б краще писав власну. Хтось має досвід роботи з цією функцією?n ( n - 1 ) /$n \times n$$n(n-1)/2$compositions::MahalanobisDist()rgl

Починаючи з розчину «соковитих» ахфоса, я застосував розклад Холеського замість СВД.

cholMaha <- function(X) {
 dec <- chol( cov(X) )
 tmp <- forwardsolve(t(dec), t(X) )
 dist(t(tmp))
}

Це має бути швидше, тому що трикутна система вперед вирішує швидше, ніж щільне множення матриць із зворотною коваріацією ( див. Тут ). Ось орієнтири з рішеннями ahfoss і whuber у кількох налаштуваннях:

 require(microbenchmark)
 set.seed(26565)
 N <- 100
 d <- 10

 X <- matrix(rnorm(N*d), N, d)

 A <- cholMaha( X = X ) 
 A1 <- fastPwMahal(x1 = X, invCovMat = solve(cov(X))) 
 sum(abs(A - A1)) 
 # [1] 5.973666e-12  Ressuring!

   microbenchmark(cholMaha(X),
                  fastPwMahal(x1 = X, invCovMat = solve(cov(X))),
                  mahal(x = X))
Unit: microseconds
expr          min       lq   median       uq      max neval
cholMaha    502.368 508.3750 512.3210 516.8960  542.806   100
fastPwMahal 634.439 640.7235 645.8575 651.3745 1469.112   100
mahal       839.772 850.4580 857.4405 871.0260 1856.032   100

 N <- 10
 d <- 5
 X <- matrix(rnorm(N*d), N, d)

   microbenchmark(cholMaha(X),
                  fastPwMahal(x1 = X, invCovMat = solve(cov(X))),
                  mahal(x = X)
                    )
Unit: microseconds
expr          min       lq    median       uq      max neval
cholMaha    112.235 116.9845 119.114 122.3970  169.924   100
fastPwMahal 195.415 201.5620 205.124 208.3365 1273.486   100
mahal       163.149 169.3650 172.927 175.9650  311.422   100

 N <- 500
 d <- 15
 X <- matrix(rnorm(N*d), N, d)

   microbenchmark(cholMaha(X),
                  fastPwMahal(x1 = X, invCovMat = solve(cov(X))),
                  mahal(x = X)
                    )
Unit: milliseconds
expr          min       lq     median       uq      max neval
cholMaha    14.58551 14.62484 14.74804 14.92414 41.70873   100
fastPwMahal 14.79692 14.91129 14.96545 15.19139 15.84825   100
mahal       12.65825 14.11171 39.43599 40.26598 41.77186   100

 N <- 500
 d <- 5
 X <- matrix(rnorm(N*d), N, d)

   microbenchmark(cholMaha(X),
                  fastPwMahal(x1 = X, invCovMat = solve(cov(X))),
                  mahal(x = X)
                    )
Unit: milliseconds
expr           min        lq      median        uq       max neval
cholMaha     5.007198  5.030110  5.115941  5.257862  6.031427   100
fastPwMahal  5.082696  5.143914  5.245919  5.457050  6.232565   100
mahal        10.312487 12.215657 37.094138 37.986501 40.153222   100

Тож Холеський, здається, рівномірно швидший.

Стандартна формула відстані між двома точками даних у квадраті махаланобіса

$$D_{12} = (x_1-x_2)^T \Sigma^{-1} (x_1-x_2)$$

де - р × 1 вектор, що відповідає спостереженню i . Зазвичай коваріаційна матриця оцінюється за спостережуваними даними. Крім звернення матриці, ця операція виконується р 2 + р умножений і р 2 + 2 р доповнення, кожен з яких повторних п ( п - 1 ) / 2 раз.$x_i$$p \times 1$$i$$p^2+p$$p^2+2p$$n(n-1)/2$

Розглянемо наступне виведення:

$$\begin{eqnarray*} D_{12} &=& (x_1-x_2)^T \Sigma^{-1} (x_1-x_2) \\ &=& (x_1-x_2)^T \Sigma^{-\frac{1}{2}} \Sigma^{-\frac{1}{2}} (x_1-x_2) \\ &=& (x_1^T \Sigma^{-\frac{1}{2}} - x_2^T \Sigma^{-\frac{1}{2}}) (\Sigma^{-\frac{1}{2}}x_1 - \Sigma^{-\frac{1}{2}}x_2) \\ &=& (q_1^T - q_2^T)(q_1 - q_2) \end{eqnarray*}$$

де . Зауважимо, щоxTiΣ-$q_i = \Sigma^{-\frac{1}{2}}x_i$. Це спирається на той факт, щоΣ-$x_i^T \Sigma^{-\frac{1}{2}} = (\Sigma^{-\frac{1}{2}} x_i)^T = q_i^T$ є симетричним, що справедливо через те, що для будь-якої симетричної діагоналізуючої матриціA=PEPT,$\Sigma^{-\frac{1}{2}}$$A = PEP^T$

$$\begin{eqnarray*} A^{\frac{1}{2}^T} &=& (PE^{\frac{1}{2}}P^T)^T \\ &=& P^{T^T} E^{\frac{1}{2}^T} P^T \\ &=& PE^{\frac{1}{2}}P^T \\ &=& A^{\frac{1}{2}} \end{eqnarray*}$$

Якщо дозволити , і відзначимо, що Σ - 1 симетричний, ми бачимо, що Σ - $A=\Sigma^{-1}$$\Sigma^{-1}$ також повинні бути симетричними. ЯкщоX-матрицяn×pспостережень, аQ-матрицяn×pтака, щоithрядкаQдорівнюєqi, тоQможе бути коротко виражений якXΣ-$\Sigma^{-\frac{1}{2}}$$X$$n \times p$$Q$$n \times p$$i^{th}$$Q$$q_i$$Q$ . Це випливає з цього та попередніх результатів$X\Sigma^{-\frac{1}{2}}$

єдині операції, які обчислюються n ( n - 1 ) / 2 рази, - p множення та 2 p додавання (на відміну відмноження p 2 + p та p 2 + 2

$$D_{k\ell} = \sum_{i=1}^p (Q_{ki}-Q_{\ell i})^2.$$ $n(n-1)/2$$p$$2p$$p^2+p$$p^2+2p$доповнення у вищевказаному способі), в результаті чого алгоритм, що складається з порядку обчислювальної складності замість вихідного O ( p 2 n 2 ) .$O(pn^2 + p^2n)$$O(p^2n^2)$

require(ICSNP) # for pair.diff(), C implementation

fastPwMahal = function(data) {

    # Calculate inverse square root matrix
    invCov = solve(cov(data))
    svds = svd(invCov)
    invCovSqr = svds$u %*% diag(sqrt(svds$d)) %*% t(svds$u)

    Q = data %*% invCovSqr

    # Calculate distances
    # pair.diff() calculates the n(n-1)/2 element-by-element
    # pairwise differences between each row of the input matrix
    sqrDiffs = pair.diff(Q)^2
    distVec = rowSums(sqrDiffs)

    # Create dist object without creating a n x n matrix
    attr(distVec, "Size") = nrow(data)
    attr(distVec, "Diag") = F
    attr(distVec, "Upper") = F
    class(distVec) = "dist"
    return(distVec)
}

Спробуємо очевидне. З

$$D_{ij} = (x_i-x_j)^\prime \Sigma^{-1} (x_i-x_j)=x_i^\prime \Sigma^{-1}x_i + x_j^\prime \Sigma^{-1}x_j -2 x_i^\prime \Sigma^{-1}x_j$$

випливає, що ми можемо обчислити вектор

$$u_i = x_i^\prime \Sigma^{-1}x_i$$

в час і матриця$O(p^2)$

$$V = X \Sigma^{-1} X^\prime$$

за час , швидше за все, використовуючи вбудовані операції швидкого (паралелізованого) масиву, а потім формують рішення як$O(p n^2 + p^2 n)$

$$D = u \oplus u - 2 V$$

де - зовнішній добуток відносно + : ( a ⊕ b ) i j = a i + b j$\oplus$$+$$(a \oplus b)_{ij} = a_i + b_j.$

RРеалізація лаконічно паралельна математична формулювання (передбачається, з ним, що на насправді зверне зі зворотним письмовій ч тут):$\Sigma=\text{Var}(X)$$h$

mahal <- function(x, h=solve(var(x))) {
  u <- apply(x, 1, function(y) y %*% h %*% y)
  d <- outer(u, u, `+`) - 2 * x %*% h %*% t(x)
  d[lower.tri(d)]
}

Зауважте, для порівняння з іншими рішеннями повертаються лише унікальні недіагональні елементи, а не вся (симетрична, нульова на діагональ) матриця відстані у квадраті. Scatterplots показують, що його результати згодні з результатами fastPwMahal.

У C або C ++, ОЗУ можуть бути повторно використані , і обчислюється на льоту, усуваючи необхідність в яких - або проміжного зберігання U ⊕ U .$u\oplus u$$u\oplus u$

Часові дослідження з від 33 до 5000 і p від 10 до 100 показують, що ця реалізація в 1,5 - 5 разів швидша, ніж у межах цього діапазону. Поліпшення покращується в міру збільшення p і n . Отже, ми можемо розраховувати на перевагу для менших p . Беззбитковість виникає навколо p = 7 при n ≥ $n$$33$$5000$$p$$10$$100$$1.5$$5$fastPwMahal$p$$n$fastPwMahal$p$$p=7$$n\ge 100$. Чи однакові обчислювальні переваги цього прямого рішення стосуються інших реалізацій, може бути питанням того, наскільки добре вони використовують переваги операцій векторного масиву.

Якщо ви хочете обчислити вибірку відстані махаланобіса, то ви можете використати кілька алгебраїчних хитрощів. Всі вони призводять до обчислення парних евклідових відстаней, тому припустимо, що ми можемо використовувати dist()для цього. Нехай позначає матрицю даних n × p , яку ми будемо вважати центрованою, щоб її стовпці мали середнє значення 0 і мали ранг p, щоб матриця коваріації вибірки була несинулярною. (Центрування вимагає операцій O ( n p ) .) Тоді матриця коваріації вибірки дорівнює S = X T X / n $X$$n\times p$$p$$O(np)$

$$S = X^T X / n.$$

Парна вибірка відстаней махаланобіса така ж, як попарно евклідові відстані X L для будь-якої матриці L, що задовольняє L L T = S - 1 , наприклад квадратний корінь або коефіцієнт Холеського. Це випливає з деякої лінійної алгебри, і це призводить до алгоритму, що вимагає обчислення S , S - 1 і розкладання Чолеського. Найгірша складність - O ( n p 2 + p 3 ) .$X$

$$X L$$ $L$$LL^T = S^{-1}$$S$$S^{-1}$$O(np^2 + p^3)$

$X$$X=UDV^T$$X$

$$S=VD^2V^T/n$$ $$S^{-1/2}=VD^{-1}V^T n^{1/2}.$$ $$X S^{-1/2} = UV^T n^{1/2}$$ $U$$\sqrt{n}$$X$$O(n p^2)$$n>p$

Ось R реалізація другого методу, який я не можу перевірити на iPad, який я використовую, щоб написати цю відповідь.

u = svd(scale(x, center = TRUE, scale = FALSE), nv = 0)$u
dist(u)
# these distances need to be scaled by a factor of n

Це набагато більш лаконічне рішення. Він все ще заснований на деривації, що включає матрицю зворотної квадратної коваріації кореня (див. Мою іншу відповідь на це питання), але використовує лише базу R та пакет статистики. Це здається трохи швидшим (приблизно на 10% швидше в деяких тестах, які я пробіг). Зауважте, що він повертає відстань Махаланобіс на відміну від відстані Маханобіса.

fastPwMahal = function(x1,invCovMat) {
  SQRT = with(svd(invCovMat), u %*% diag(d^0.5) %*% t(v))
  dist(x1 %*% SQRT)
}

Ця функція вимагає зворотної матриці коваріації і не повертає об'єкт відстані, але я підозрюю, що ця зведена версія функції буде більш корисною для збору користувачів обміну.

$n^2$

Якщо ви використовуєте лише функції Fortran77 в інтерфейсі, ваша підпрограма все ще достатньо портативна для інших.

Існує дуже простий спосіб зробити це за допомогою "біотуалетів" пакета R Package. У цьому випадку ви отримаєте матрицю квадратичної відстані Mahalanobis.

#Manly (2004, p.65-66)

x1 <- c(131.37, 132.37, 134.47, 135.50, 136.17)
x2 <- c(133.60, 132.70, 133.80, 132.30, 130.33)
x3 <- c(99.17, 99.07, 96.03, 94.53, 93.50)
x4 <- c(50.53, 50.23, 50.57, 51.97, 51.37)

#size (n x p) #Means 
x <- cbind(x1, x2, x3, x4) 

#size (p x p) #Variances and Covariances
Cov <- matrix(c(21.112,0.038,0.078,2.01, 0.038,23.486,5.2,2.844, 
        0.078,5.2,24.18,1.134, 2.01,2.844,1.134,10.154), 4, 4)

library(biotools)
Mahalanobis_Distance<-D2.dist(x, Cov)
print(Mahalanobis_Distance)

Це розширений кодом мій старий відповідь переміщений сюди з іншої теми .

Я тривалий час робив обчислення квадратної симетричної матриці попарно махаланобісних відстаней у SPSS за допомогою капелюшкового матричного підходу, використовуючи рішення системи лінійних рівнянь (бо це швидше, ніж інвертування коваріаційної матриці).

Я не користувач R, тому я просто спробував відтворити @ahfoss ' цей рецепт тут у SPSS разом із "моїм" рецептом на даних 1000 випадків на 400 змінних, і я знайшов свій шлях значно швидше.

---

$\bf H$

$\mathbf{H}(n-1)$$\bf X(X'X)^{-1}X'$$\bf X$

Отже, по центру стовпців матриці даних обчисліть матрицю капелюхів, помножте на (n-1) і виконайте операцію, протилежну подвійному центруванню. Ви отримуєте матрицю відстаней у квадраті махаланобіса.

$h$$h^2$$h_1h_2\cos$

У наших налаштуваннях "двоцентрова" матриця - це конкретно матриця капелюхів (помножена на n-1), а не евклідові скалярні добутки, і отримана в результаті матриця квадратного відстані є таким чином квадратом махаланобіської відстані матриці, а не квадратом евклідової матриці відстані.

$H$$\mathbf{H}(n-1)$H= {H,H,...}$\mathbf {D_{mahal}^2} = H+H'-2 \mathbf{H}(n-1)$

Код в SPSS і датчик швидкості нижче.

---

Цей перший код відповідає @ahfoss функції fastPwMahalз процитував відповідь . Він рівнозначний йому математично. Але я обчислюю повну симетричну матрицю відстаней (за допомогою матричних операцій), а @ahfoss обчислює трикутник симетричної матриці (елемент за елементом).

matrix. /*Matrix session in SPSS;
        /*note: * operator means matrix multiplication, &* means usual, elementwise multiplication.
get data. /*Dataset 1000 cases x 400 variables
!cov(data%cov). /*compute usual covariances between variables [this is my own matrix function].
comp icov= inv(cov). /*invert it
call svd(icov,u,s,v). /*svd
comp isqrcov= u*sqrt(s)*t(v). /*COV^(-1/2)
comp Q= data*isqrcov. /*Matrix Q (see ahfoss answer)
!seuclid(Q%m). /*Compute 1000x1000 matrix of squared euclidean distances;
               /*computed here from Q "data" they are the squared Mahalanobis distances.
/*print m. /*Done, print
end matrix.

Time elapsed: 3.25 sec

Далі йде моя модифікація, щоб зробити це швидше:

matrix.
get data.
!cov(data%cov).
/*comp icov= inv(cov). /*Don't invert.
call eigen(cov,v,s2). /*Do sdv or eigen decomposition (eigen is faster),
/*comp isqrcov= v * mdiag(1/sqrt(s2)) * t(v). /*compute 1/sqrt of the eigenvalues, and compose the matrix back, so we have COV^(-1/2).
comp isqrcov= v &* (make(nrow(cov),1,1) * t(1/sqrt(s2))) * t(v). /*Or this way not doing matrix multiplication on a diagonal matrix: a bit faster .
comp Q= data*isqrcov.
!seuclid(Q%m).
/*print m.
end matrix.

Time elapsed: 2.40 sec

$\bf X(X'X)^{-1}X'$$\bf (X'X)^{-1}X'$solve(X'X,X')

matrix.
get data.
!center(data%data). /*Center variables (columns).
comp hat= data*solve(sscp(data),t(data))*(nrow(data)-1). /*hat matrix, and multiply it by n-1 (i.e. by df of covariances).
comp ss= diag(hat)*make(1,ncol(hat),1). /*Now using its diagonal, the leverages (as column propagated into matrix).
comp m= ss+t(ss)-2*hat. /*compute matrix of squared Mahalanobis distances via "cosine rule".
/*print m.
end matrix.

[Notice that if in "comp ss" and "comp m" lines you use "sscp(t(data))",
 that is, DATA*t(DATA), in place of "hat", you get usual sq. 
 euclidean distances]

Time elapsed: 0.95 sec

Формула, яку ви опублікували, не обчислює те, що, на вашу думку, ви робите (U-статистика).

У коді, який я розмістив, я використовую cov(x1)як матрицю масштабування (це дисперсія парних відмінностей даних). Ви використовуєте cov(x0)(це матриця коваріації вихідних даних). Я думаю, що це помилка у вашій частині. Весь сенс використання парних відмінностей полягає в тому, що це позбавляє вас від припущення, що багатофакторний розподіл ваших даних симетричний навколо центру симетрії (або для того, щоб оцінити цей центр симетрії для цього питання, оскільки crossprod(x1)пропорційний cov(x1)). Очевидно, використовуючи cov(x0)ви втрачаєте це.

Це добре пояснено в документі, до якого я посилався в оригінальній відповіді.