Який найкращий спосіб визначити людей, що переживають люди в багатовимірних даних?

Припустимо, у мене є великий набір багатоваріантних даних, принаймні три змінні. Як я можу знайти аутлієрів? Парні розсіювачі не працюватимуть, оскільки можливе існування зовнішньої структури в трьох вимірах, що не є стороннім у жодному з двох розмірних підпросторів.

Я думаю не про проблему регресії, а про справжні багатовимірні дані. Тож відповіді, що включають надійну регресію чи обчислювальні важелі, не корисні.

Однією з можливостей було б обчислити бали основного компонента і шукати зовнішній вигляд у двовимірному розсіюванні перших двох балів. Це гарантовано працює? Чи є кращі підходи?

Погляньте на пакет mvoutlier, який покладається на впорядковані міцні відстані махаланобіса, як це запропонував @drknexus.

Я думаю, що відповідь Робіна Жирара спрацювала б досить добре для 3-х і, можливо, 4-х вимірів, але прокляття розмірності завадило б йому працювати поза цим. Однак його пропозиція привела мене до спорідненого підходу, який полягає у застосуванні перехресної перевірки щільності ядра до перших трьох основних показників компонентів. Тоді з дуже об'ємним набором даних все-таки можна обробити нормально.

Підсумовуючи, для i = 1 до n

1. Обчисліть оцінку щільності перших трьох основних показників компонентів, отриманих з набору даних без Xi.
2. Обчисліть ймовірність Xi для щільності, оціненої на кроці 1. Назвіть її Li.

кінець для

Сортуйте Li (для i = 1, .., n), і ті, хто має ймовірність нижче деякого порогового значення, - ті, хто випадає. Я не впевнений, який би був хороший поріг - я залишу це для тих, хто пише про це папір! Однією з можливостей є те, щоб зробити поле для значень журналу (Li) і побачити, які відшаровування виявлені в негативному кінці.

Педагогічне резюме різних методів можна знайти в (1)

Для деяких порівняльних чисельних порівнянь різних методів, перелічених там, ви можете перевірити (2) та (3) .

існує багато старих (і менш вичерпних) чисельних порівнянь, які зазвичай зустрічаються в книгах. Ви знайдете, наприклад, на сторінках 142-143 (4).

Зауважте, що всі розглянуті тут методи мають реалізацію з відкритим вихідним кодом, головним чином через пакет rrcov .

• (1) P. Rousseeuw та M. Hubert (2013) Високі оцінювачі розбиття багатоваріантної локації та розсіювання.
• (2) М. Губерт, П. Руссов, К. Вакілі (2013). Формати зміщення надійних оцінювачів коваріації: емпіричне дослідження. Статистичні статті.
• (3) К. Вакілі та Е. Шмітт (2014). Пошук багатоваріантних людей з FastPCS. Обчислювальна статистика та аналіз даних.
• (4) Maronna RA, Martin RD та Yohai VJ (2006). Надійна статистика: теорія та методи. Вілі, Нью-Йорк.

Я б зробив якийсь "залишити один із алгоритму тестування" (n - кількість даних):

для i = 1 до n

1. обчислити оцінку щільності безлічі даних , отриманих шляхом кидати геть$X_i$ . (Ця оцінка щільності повинна проводитися з деяким припущенням, якщо розмірність висока, наприклад, гауссова припущення, для якого оцінка щільності проста: середня та коваріаційна)
2. Обчисліть ймовірність для щільності, оціненої на кроці 1$X_i$ . називаємо це .$L_i$

кінець для

сортуйте (для i = 1, .., n) і скористайтеся процедурою тестування декількох гіпотез, щоб сказати, що не добре ...$L_i$

Це буде спрацьовувати, якщо n достатньо велике ... ви також можете використовувати стратегію "залишити k out", яка може бути більш сприятливою, якщо у вас є "групи" людей, що залишилися ...

Серед опорних пунктів мінімального об'єму, що обмежує еліпсоїд, можна знайти кандидатів на "чужих людей". ( Ефективні алгоритми пошуку цих точок у досить високих розмірах, як точно, так і приблизно, були винайдені в ряді робіт у 1970-х роках, оскільки ця проблема тісно пов'язана з питанням експериментального проектування.)

Я бачив новий підхід, проведений аналізом основних компонентів IT Jolliffe . Ви запускаєте PCA на своїх даних (Примітка. PCA може бути досить корисним інструментом для вивчення даних), але замість того, щоб дивитись на перші кілька основних компонентів (ПК), ви плануєте кілька останніх ПК. Ці ПК - це лінійні зв’язки між вашими змінними з найменшою можливою дисперсією. Таким чином вони виявляють "точні" або близькі до точних багатоваріантних відносин у ваших даних.

Графік балів на ПК для останнього ПК покаже, що люди, які легко переслідують, не легко виявити, переглядаючи кожну змінну окремо. Один із прикладів - зріст і вага - той, хто має "вище середнього" зросту і "нижче середнього" ваги, буде виявлений останнім ПК висоти і ваги (якщо вважати, що вони позитивно співвідносяться), навіть якби їхній зріст і вага не були " крайній "індивідуально (наприклад, людина, яка мала 180см і 60кг).

Я не бачив, щоб хтось згадував функції впливу . Я вперше побачив цю ідею у багатоваріантній книзі Гнанадесікана .

В одному вимірі зовнішній вигляд є або надзвичайно великим, або надзвичайно малим значенням. При багатоваріантному аналізі це спостереження, вилучене з основної маси даних. Але яку метрику ми повинні використати, щоб визначити екстремальність для "чужих"? Є багато варіантів. Відстань Махаланобіс - лише одна. Я вважаю, що шукати будь-який тип спорядження марно і контрпродуктивно. Я б запитав, чому ви дбаєте про сторонніх людей? Оцінюючи середнє значення, вони можуть мати великий вплив на цю оцінку. Міцні оцінювачі мають знижену вагу і вміщують людей, які не мають статусу людей, але вони офіційно не перевіряють їх. В даний час в регресії, люди, що відпадають, - як точки важеля - можуть мати великий вплив на параметри схилу в моделі. За двовимірними даними вони можуть надмірно впливати на розрахунковий коефіцієнт кореляції, а в трьох і більше вимірах - коефіцієнт множинної кореляції.

Функції впливу були введені Гампелем як інструмент для надійної оцінки, і Малловс написав приємний неопублікований документ, який виступає за їх використання. Функція впливу - це функція точки, в якій ви знаходитесь, у n-мірному просторі та параметра. Він по суті вимірює різницю між оцінкою параметра з точкою в обчисленні і з опущеною точкою. Замість того, щоб піти на проблему зробити розрахунок двох оцінок і взяти різницю, часто ви можете отримати формулу для цього. Тоді контури постійного впливу підказують вам крайній напрямок щодо оцінки цього параметра і, отже, підказують, де в n-мірному просторі шукати зовнішню сторону.

Докладніше ви можете ознайомитися з моєю роботою 1983 року в американському журналі математичних та управлінських наук під назвою "Функція впливу та її застосування для перевірки даних". Під час перевірки даних ми хотіли шукати інших людей, які вплинули на цільове використання даних. Я відчуваю, що ви повинні спрямовувати свою увагу на людей, що сильно впливають на параметри, які ви зацікавлені в оцінці, і не так сильно піклуєтесь про інших, хто цього не робить.

Це може бути перебіг, але ви можете навчити непідконтрольний випадковому лісу на даних і використовувати мірку близькості об'єкта для виявлення людей, що не впадають у рух. Детальніше тут .

Для помірних розмірів, як-от 3, якась техніка перехресної перевірки ядра, як це запропоновано в іншому місці, здається розумною, і це найкраще, що я можу запропонувати.

Що стосується більш високих розмірів, я не впевнений, що проблема вирішена; він приземляється досить прямо на територію "прокляття розмірності". Проблема полягає в тому, що функції відстані, як правило, зближуються до дуже великих значень дуже швидко, оскільки ви збільшуєте розмірність, включаючи відстані, отримані від розподілів. Якщо ви визначаєте зовнішній вигляд як "точку з порівняно великою функцією відстані відносно інших", і всі ваші дистанційні функції починають сходитися, тому що ви знаходитесь у просторі великого розміру, ну, ви переживаєте проблеми .

Без якогось розподілу припущення, яке дозволить вам перетворити його на ймовірнісну класифікаційну проблему або хоча б якесь обертання, яке дозволяє розділити ваш простір на "розміри шуму" та "інформативні розміри", я думаю, що геометрія просторів великого розміру збирається заборонити будь-яку легку - або, принаймні, надійну - ідентифікацію людей, що не існують.

Я не впевнений, що ви маєте на увазі, говорячи, що не думаєте про проблему регресії, а про "справжні багатовимірні дані". Моєю початковою відповіддю було б обчислити відстань махаланобіса, оскільки це не вимагає вказувати конкретний IV або DV, але в його основі (наскільки я це розумію) воно пов'язане зі статистикою важеля.

Я не знаю, що хтось робить це, але я, як правило, намагаюся зменшити розмірність, коли у мене є така проблема. Ви можете заглянути в метод багатозначного навчання або нелінійного зменшення розмірності .

Прикладом може бути карта Кохонена . Хороший орієнтир для R - це "Самоорганізовані та суперорганізуючі карти в R: Кохонен Пакет" .

Першою моєю відповіддю було б те, що якщо ви можете зробити багатоваріантну регресію даних, то використовуйте залишки, що знаходяться в цій регресії, щоб помітити людей, що залишилися. (Я знаю, ви сказали, що це не проблема регресії, тому це може вам не допомогти, вибачте!)

Я копіюю щось із цього запитання щодо Stackoverflow, на який я раніше відповідав, який містить приклад R- коду

Спочатку ми створимо деякі дані, а потім помажемо їх зовнішньою формою;

> testout<-data.frame(X1=rnorm(50,mean=50,sd=10),X2=rnorm(50,mean=5,sd=1.5),Y=rnorm(50,mean=200,sd=25)) 
> #Taint the Data 
> testout$X1[10]<-5 
> testout$X2[10]<-5 
> testout$Y[10]<-530 

> testout 
         X1         X2        Y 
1  44.20043  1.5259458 169.3296 
2  40.46721  5.8437076 200.9038 
3  48.20571  3.8243373 189.4652 
4  60.09808  4.6609190 177.5159 
5  50.23627  2.6193455 210.4360 
6  43.50972  5.8212863 203.8361 
7  44.95626  7.8368405 236.5821 
8  66.14391  3.6828843 171.9624 
9  45.53040  4.8311616 187.0553 
10  5.00000  5.0000000 530.0000 
11 64.71719  6.4007245 164.8052 
12 54.43665  7.8695891 192.8824 
13 45.78278  4.9921489 182.2957 
14 49.59998  4.7716099 146.3090 
<snip> 
48 26.55487  5.8082497 189.7901 
49 45.28317  5.0219647 208.1318 
50 44.84145  3.6252663 251.5620 

Часто найкорисніше вивчити дані графічно (ти мозок набагато краще, коли помічаєш людей, що випадають, ніж математика)

> #Use Boxplot to Review the Data 
> boxplot(testout$X1, ylab="X1") 
> boxplot(testout$X2, ylab="X2") 
> boxplot(testout$Y, ylab="Y") 

Потім ви можете використовувати статистику для обчислення критичних відрізаних значень, використовуючи тут тест Лунда (Див. Лунд, RE 1975, "Таблиці для приблизного тесту для випускників у лінійних моделях", Технометрія, т. 17, № 4, стор. 473 -476. І Прескотт, С. 1975, "Орієнтовний тест для випускників у лінійних моделях", Технометрія, т. 17, № 1, с. 129-132.)

> #Alternative approach using Lund Test 
> lundcrit<-function(a, n, q) { 
+ # Calculates a Critical value for Outlier Test according to Lund 
+ # See Lund, R. E. 1975, "Tables for An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 4, pp. 473-476. 
+ # and Prescott, P. 1975, "An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 1, pp. 129-132. 
+ # a = alpha 
+ # n = Number of data elements 
+ # q = Number of independent Variables (including intercept) 
+ F<-qf(c(1-(a/n)),df1=1,df2=n-q-1,lower.tail=TRUE) 
+ crit<-((n-q)*F/(n-q-1+F))^0.5 
+ crit 
+ } 

> testoutlm<-lm(Y~X1+X2,data=testout) 

> testout$fitted<-fitted(testoutlm) 

> testout$residual<-residuals(testoutlm) 

> testout$standardresid<-rstandard(testoutlm) 

> n<-nrow(testout) 

> q<-length(testoutlm$coefficients) 

> crit<-lundcrit(0.1,n,q) 

> testout$Ynew<-ifelse(testout$standardresid>crit,NA,testout$Y) 

> testout 
         X1         X2        Y    newX1   fitted    residual standardresid 
1  44.20043  1.5259458 169.3296 44.20043 209.8467 -40.5171222  -1.009507695 
2  40.46721  5.8437076 200.9038 40.46721 231.9221 -31.0183107  -0.747624895 
3  48.20571  3.8243373 189.4652 48.20571 203.4786 -14.0134646  -0.335955648 
4  60.09808  4.6609190 177.5159 60.09808 169.6108   7.9050960   0.190908291 
5  50.23627  2.6193455 210.4360 50.23627 194.3285  16.1075799   0.391537883 
6  43.50972  5.8212863 203.8361 43.50972 222.6667 -18.8306252  -0.452070155 
7  44.95626  7.8368405 236.5821 44.95626 223.3287  13.2534226   0.326339981 
8  66.14391  3.6828843 171.9624 66.14391 148.8870  23.0754677   0.568829360 
9  45.53040  4.8311616 187.0553 45.53040 214.0832 -27.0279262  -0.646090667 
10  5.00000  5.0000000 530.0000       NA 337.0535 192.9465135   5.714275585 
11 64.71719  6.4007245 164.8052 64.71719 159.9911   4.8141018   0.118618011 
12 54.43665  7.8695891 192.8824 54.43665 194.7454  -1.8630426  -0.046004311 
13 45.78278  4.9921489 182.2957 45.78278 213.7223 -31.4266180  -0.751115595 
14 49.59998  4.7716099 146.3090 49.59998 201.6296 -55.3205552  -1.321042392 
15 45.07720  4.2355525 192.9041 45.07720 213.9655 -21.0613819  -0.504406009 
16 62.27717  7.1518606 186.6482 62.27717 169.2455  17.4027250   0.430262983 
17 48.50446  3.0712422 228.3253 48.50446 200.6938  27.6314695   0.667366651 
18 65.49983  5.4609713 184.8983 65.49983 155.2768  29.6214506   0.726319931 
19 44.38387  4.9305222 213.9378 44.38387 217.7981  -3.8603382  -0.092354925 
20 43.52883  8.3777627 203.5657 43.52883 228.9961 -25.4303732  -0.634725264 
<snip> 
49 45.28317  5.0219647 208.1318 45.28317 215.3075  -7.1756966  -0.171560291 
50 44.84145  3.6252663 251.5620 44.84145 213.1535  38.4084869   0.923804784 
       Ynew 
1  169.3296 
2  200.9038 
3  189.4652 
4  177.5159 
5  210.4360 
6  203.8361 
7  236.5821 
8  171.9624 
9  187.0553 
10       NA 
11 164.8052 
12 192.8824 
13 182.2957 
14 146.3090 
15 192.9041 
16 186.6482 
17 228.3253 
18 184.8983 
19 213.9378 
20 203.5657 
<snip> 
49 208.1318 
50 251.5620 

Очевидно, є й інші чужі тести, ніж тест Лунда (Груббс спадає на думку), але я не впевнений, які краще підходять для багатовимірних даних.

Один з вищезазначених відповідей торкнувся відстані махаланобіса .... можливо, ще один крок далі та обчислення одночасних довірчих інтервалів допоможуть виявити людей, що не існують!