Методика скорочення даних для виявлення типів країн

Викладаю вступний курс економічної географії. Щоб допомогти моїм студентам розвинути краще розуміння видів країн, що зустрічаються в сучасній світовій економіці, та оцінити методи скорочення даних, я хочу створити завдання, яке створює типологію різних країн (наприклад, з високим рівнем доходу, тривала тривалість життя mfg з доданою вартістю; експортер природних ресурсів з високим доходом середня висока тривалість життя; Німеччина є елементом першого типу, а Ємен - прикладом другого типу). Для цього використовуються загальнодоступні дані ПРООН (які, якщо я пригадую правильно, містять соціально-економічні дані про трохи менше 200 країн; вибачте, що регіональних даних немає).

Перед цим призначенням було б ще одне, яке просить їх (використовуючи ті самі --- значною мірою інтервал або коефіцієнт рівня даних --- дані) вивчити кореляції між цими ж змінними.

Я сподіваюся, що вони спершу розвинуть інтуїцію щодо видів відносин між різними змінними (наприклад, позитивний зв'язок між тривалістю життя та [різними показниками] багатства; позитивний взаємозв'язок між багатством та різноманітністю експорту). Тоді, використовуючи техніку скорочення даних, компоненти чи фактори мали б певний інтуїтивний сенс (наприклад, фактор / компонент 1 фіксує важливість багатства; фактор / компонент 2 фіксує важливість освіти).

Зважаючи на те, що це студенти другого-четвертого курсу, які часто мають обмежений вплив на аналітичне мислення загалом, яку єдину методику зменшення даних ви б запропонували як найбільш прийнятну для другого завдання? Це дані про населення, тому інфекційна статистика (p-vlaues тощо) насправді не потрібна.

Як дослідницький метод, PCA - хороший перший вибір для такого завдання, як цей ІМО. Їм також було б непогано потрапити до цього; здається, що багато з них раніше не бачили головних компонентів.

З точки зору даних я також вказую на показники Світового банку, які надзвичайно повно: http://data.worldbank.org/indicator .

Я погоджуюся з JMS, і PCA здається гарною ідеєю після вивчення початкових кореляцій та розсіювання між змінними для кожного округу. У цій темі є кілька корисних пропозицій щодо впровадження PCA в нематематичному плані.

Я б також запропонував використовувати невеликі численні карти для візуалізації просторових розподілів кожної зі змінних (і на цьому сайті є кілька хороших прикладів цього питання на сайті gis.se). Я думаю, що це працює особливо добре, якщо для порівняння у вас обмежена кількість ареальних одиниць і ви використовуєте гарну колірну гамму (наприклад, цей приклад у блозі Ендрю Гельмана).

На жаль, природа будь-яких наборів даних "країн світу", які я підозрюю, часто призводить до розріджених даних (тобто багатьох зниклих країн), ускладнюючи географічну візуалізацію. Але такі методи візуалізації повинні бути корисні і в інших ситуаціях, а також для вашого курсу.

Швидка додана примітка: Незалежно від перерахованих вище методів, ви хочете спершу перевірити розподіл змінних, оскільки для багатьох з них буде потрібно «спочатку» перетворити їх за допомогою логарифму. Це дозволить виявити деякі відносини набагато краще, ніж використання оригінальних змінних.

Ви можете використовувати розкладання CUR як альтернативу PCA. Для розкладання CUR ви можете звернутися до [1] або [2]. При розкладанні CUR C означає виділені стовпці, R - виділені рядки, U - матрицю зв'язку. Дозвольте перефразовувати інтуїцію, що стоїть за декомпромісією CUR, як зазначено в [1];

Хоча усічений SVD широко застосовується, самі вектори та можуть бракувати будь-якого значення з точки зору поля, з якого виводяться дані. Наприклад, власний векторv $u_i$$v_i$

[(1/2)age − (1/ √2)height + (1/2)income]

будучи одним із значущих некорельованих "факторів" чи "особливостей" набору даних про особливості людей, не є особливо інформативним та значущим.

Приємно в CUR - це те, що основні стовпці - це фактичні стовпці (або рядки) і їх краще інтерпретувати на відміну від PCA (який використовує перекладений SVD).

Алгоритм, наведений у [1], легко здійснити, і ви можете грати з ним, змінюючи поріг помилки та отримуючи різну кількість підстав.

[1] М. В. Махоні та П. Дрінеас, “Матричні декомпозиції CUR для вдосконаленого аналізу даних”, Праці Національної академії наук Сполучених Штатів Америки, т. 106, січень 2009, с. 697-702.

[2] Дж. Сун, Ю. Сі, Х. Чжан та К. Фалуцос, «Менше - більше: компактна матрична декомпозиція для великих розріджених графіків», Матеріали Сьомої міжнародної конференції SIAM з обміну даними, Citeseer, 2007, p. . 366.

Залежно від ваших цілей, класифікація реєстрів за групами може бути найкраще досягнута якимось методом кластеризації. Для відносно невеликої кількості випадків ієрархічна кластеризація, як правило, найкраще підходить, принаймні, на дослідницькій фазі, тоді як для більш відшліфованого рішення ви можете звернутися до певного ітераційного процесу, наприклад K-засобів. Відповідно до того, яке програмне забезпечення ви використовуєте, можливо також використовувати процес, який знаходиться в SPSS, але я не знаю, де ще, називається двоступінчаста кластеризація, яка швидка, хоча і непрозора, і, здається, дає хороші результати.

Кластерний аналіз дає класифікаційне рішення, яке максимізує розбіжність між групами, мінімізуючи дисперсію всередині зазначених груп. Це також, ймовірно, дасть результати, які легше інтерпретувати.

Я пропоную кластеризацію змінних та спостереження (окремо), щоб пролити світло на набір даних. Змінна кластеризація (скажімо, використання Spearmean як міра подібності, як у функції пакету R ) допоможе зрозуміти, які змінні "працюють разом".$\rho^2$Hmiscvarclus

Іншим варіантом буде використання карт самоорганізації (SOM). Будь-яке уявлення про те, яким програмним забезпеченням користуватимуться студенти? Я знаю, що R, наприклад, має пару реалізацій SOM. Однак, СОМ може провалити тест на "компоненти факторів, що мають інтуїтивний сенс". (Не обов'язково правда для PCA, або ...)