Чи можемо ми використовувати категоричну незалежну змінну в дискримінантному аналізі?


15

У дискримінантному аналізі залежна змінна є категоричною, але чи можу я використовувати категоричну змінну (наприклад, житловий стан: сільський, міський) разом з якоюсь іншою суцільною змінною як незалежну змінну в лінійному дискримінантному аналізі?


Відповіді:


14

Дискримінантний аналіз передбачає багатоваріантний нормальний розподіл, тому що те, що ми зазвичай вважаємо предикторами, насправді є багатоваріантною залежною змінною, а змінна групування вважається предиктором. Це означає, що категоричні змінні, які слід розглядати як предиктори в тому бажаному сенсі, не обробляються належним чином. Це одна з причин того, що багато хто, в тому числі і я, вважають дискримінаційний аналіз застарілим за допомогою логістичної регресії. Логістична регресія не передбачає жодних припущень щодо розподілу ні з лівої, ні з правого боку моделі. Логістична регресія - це модель прямої ймовірності, і вона не вимагає використання правила Байєса для перетворення результатів у ймовірності, як і дискримінантний аналіз.


Дякую, містер Френк Харрелл за вашу відповідь. Насправді я хочу порівняти результати дискримінаційного аналізу та логістичної регресії (модель Logit), використовуючи той самий набір змінних. Отже, для цього, якщо мені доведеться використовувати категоричні змінні в дискримінантному аналізі як незалежну змінну, то чи є спосіб?
kuwoli

6

Коротка відповідь - це скоріше ні, ніж так.

Одна попередня примітка. Важко сказати, чи слід називати "незалежними" чи "залежними" змінні, які виробляють дискримінантні функції самостійно. LDA - це в основному конкретний випадок канонічного кореляційного аналізу, а тому є двосхилим. Він може розглядатися як MANOVA (із змінною класу як незалежним фактором) або, коли клас дихотомічний, як лінійна регресія класу як залежна змінна. Тому не зовсім законно завжди протистояти LDA з однонаправленими регресіями, такими як логістичний.

LDA припускає, що змінні (ті, які ви назвали "незалежними") походять від багатовимірного нормального розподілу, отже - всі вони безперервні. Це припущення є важливим для (1) стадії класифікації LDA та (2) значущості тестування дискримінантів, що виробляються на стадії вилучення. Сама добування дискримінантів не потребує припущення.

Однак LDA досить стійкий до порушення припущення, яке іноді сприймається як гарантія зробити це на двійкових даних. Насправді це деякі люди роблять. Канонічні кореляції (зокрема LDA - конкретний випадок) можна здійснити там, де обидва набори складаються з двійкових або навіть фіктивних бінарних змінних. Знову ж таки, немає проблеми з вилученням прихованих функцій; проблеми з таким додатком потенційно виникають, коли викликаються значення p або класифікаційні об'єкти.

З двійкових / порядкових змінних можна обчислити тетрахоричні / поліхорні кореляції та подати їх до LDA (якщо програма дозволяє вводити кореляційні матриці замість даних); але тоді обчислення дискримінантних балів на рівні випадку буде проблематичним.

Більш гнучким підходом було б перетворення категоричних (порядкових, номінальних) змінних у безперервні шляхом оптимального масштабування / кількісного визначення . Нелінійний канонічний кореляційний аналіз (ОНЕРАЛІ). Це зробить це під завданням максимізувати канонічні кореляції між двома сторонами (змінною класу та категоричними "провісниками"). Потім ви можете спробувати LDA з перетвореними змінними.

(Мультиноміальна або двійкова) логістична регресія може бути іншою альтернативою LDA.


Це набагато більше, ніж просто використання моделі, призначеної для ситуації (логістична регресія). Дискримінантний аналіз не такий надійний, як думають деякі. Легко показати за допомогою одного категоричного прогноктора, що є двійковим, що задні ймовірності утворюють да не дуже точні (наприклад, передбачити ймовірність події, що дається особою суб'єкта).
Френк Харрелл
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.