Для чого корисні рейтинги змінної важливості?

Я став чимось нігілістом, коли справа стосується рейтингів різної важливості (в контексті багатоваріантних моделей усіх видів).

Часто в процесі роботи мене просять або допомогти іншій команді створити рейтинг змінної важливості, або створити змінний рейтинг важливості з моєї власної роботи. У відповідь на ці запити я задаю наступні запитання

Для чого ви хотіли б цей рейтинг змінної важливості? Чого ви сподіваєтеся навчитися цьому? Які рішення ви хотіли б прийняти, використовуючи його?

Відповіді, які я отримую майже завжди, належать до однієї з двох категорій

• Я хотів би знати важливість різних змінних у моїй моделі для прогнозування відповіді.
• Я хотів би використовувати його для вибору функцій, видаляючи змінні низької важливості.

Перша відповідь є тавтологічною (я хотів би змінити рейтинг важливості, тому що я хотів би змінити важливість за рейтингом). Я повинен припустити, що ці рейтинги заповнюють психологічну потребу при споживанні результатів багатоваріантної моделі. Мені важко це зрозуміти, оскільки, здавалося б, класифікація змінних «важливість» індивідуально неявно відкидає багатовимірну природу розглянутої моделі.

Друга відповідь по суті зводиться до неофіційної версії зворотного вибору , статистичні гріхи якої добре зафіксовані в інших частинах CrossValidated.

Я також борюся з неправильно визначеним рейтингом важливості. Здається, мало домовленостей щодо того, яку основну концепцію повинен оцінювати рейтинг, надаючи їм дуже спеціальний смак. Існує багато способів присвоїти оцінку важливості чи класифікацію, і вони, як правило, страждають від недоліків та застережень:

• Вони можуть бути сильно залежними від алгоритму, як у рейтингу важливості у випадкових лісах та гбм.
• Вони можуть мати надзвичайно велику дисперсію, різко змінюючись із збуреннями на основні дані.
• Вони можуть сильно постраждати від кореляції вхідних прогнокторів.

Отже, маючи все сказане, моє запитання полягає в тому, які існують статистично обґрунтовані використання рейтингів різної важливості чи, що є переконливим аргументом (або статистику, або мирянину) для марності такого бажання? Мене цікавлять як загальні теоретичні аргументи, так і тематичні дослідження, залежно від того, що було б більш ефективним у висловлюванні суті.

Я стверджував, що змінна важливість є слизькою концепцією , як це стосується цього питання. Тавтологічний перший тип відповіді, який ви отримаєте на своє запитання, і нереалістичні сподівання тих, хто інтерпретував результати змінної важливості з точки зору причинності, як зазначає @DexGroves, потребують невеликої розробки.

Справедливості до тих, хто буде використовувати відсталий вибір, однак, навіть Френк Харрелл допускає це як частину стратегії моделювання. З другого видання зі сторінки 97 його стратегій моделювання регресії (аналогічне твердження є на сторінці 131 відповідних конспектів курсу ):

13. Зробіть обмежений зворотний вибір змінної, якщо посидючість важливіша за точність.

Однак обмежене потенційне використання відсталого вибору - це етап 13, останній крок перед остаточною моделлю (етап 14). Це відбувається добре після вирішальних перших кроків:

1. Зберіть якомога більше точних відповідних даних із широким розподілом значень прогнозів ...
2. Сформулюйте хороші гіпотези, що призводять до конкретизації відповідних прогнозів кандидатів та можливих взаємодій ...

З мого досвіду люди часто хочуть обійти крок 2, і нехай якась автоматизована процедура замінить інтелектуальне застосування знань з предметів. Це може призвести до деякого акценту, який робиться на змінне значення.

Повна модель кроку 14 Гаррелла супроводжується 5 подальшими кроками перевірки та коригування з останнім кроком:

20. Розробіть спрощення до повної моделі, наблизивши її до будь-якого бажаного ступеня точності.

Як відзначали інші відповіді, існують питання дієздатності, вартості та простоти, які входять в практичне застосування результатів моделювання. Наприклад, якщо я розробити новий біомаркер на рак, який покращує прогнозування, але коштує 100 000 доларів США за тест, можливо, буде важко переконати страховиків або уряд заплатити за тест, якщо це не є надзвичайно корисним. Тож не є розумним, щоб хтось хотів зосередитись на змінних, які є "найважливішими", або спростити точну модель в ту, яка дещо менш точна, але її легше або менш дорого реалізувати.

Але цей вибір змінних та спрощення моделі має бути визначений для конкретної мети , і я думаю, саме тут виникають труднощі. Проблема схожа на оцінку класифікаційних схем виключно на основі відсотка випадків, правильно класифікованих. Так само, як різні помилки класифікації можуть мати різні витрати, різні схеми спрощення моделей можуть мати різні витрати, які співвідносяться з їх сподіваними вигодами.

Тому я вважаю, що питання, на якому слід зупинитися як аналітик, полягає у здатності надійно оцінити та проілюструвати ці витрати та вигоди за допомогою процедур статистичного моделювання, а не надто перейматися абстрактним поняттям статистичної валідності як такої. Наприклад, на сторінках 157-8 нотаток класу Гаррелла, пов'язаних вище, є приклад використання завантажувальної стрічки для показу капризів ранжування прогнозів за мінімальними квадратами; подібні результати можна знайти для наборів змінних, вибраних LASSO.

Якщо цей тип змінності у виборі змінної не заважає конкретному практичному застосуванню моделі, це нормально. Завдання полягає в тому, щоб оцінити, скільки і до яких проблем виникне спрощення.

Це абсолютно анекдотично, але я знайшов змінну важливість корисною для виявлення помилок або слабких місць у ГБМ.

Змінне значення надає вам величезний огляд поперечного перерізу моделі, до якої важко отримати інше. Змінні, що знаходяться в списку, виявляють більшу активність (питання про те, важливіше вони чи ні, це інше питання). Часто погано поводиться передбачувальник (наприклад, щось перспективне чи фактор високої кардинальності) вистрілить до вершини.

Якщо велика різниця між важливістю змінної інтуїції та важливістю змінної ГБМ, зазвичай слід отримати якісь цінні знання або помилку.

Я би додав третю відповідь до "чому ти просиш мене про це?" питання, яке "тому, що я хочу зрозуміти, в чому причина моєї відповіді". Eep.

Рейтинги змінної важливості відіграють певну роль у застосованому діловому світі, коли виникає необхідність у пріоритеті потенційно великої кількості вхідних даних до будь-якого процесу. Ця інформація надає напрямок з точки зору цілеспрямованої стратегії атаки на проблему, яка працює від найбільш важливого до найважливішого, наприклад, зниження витрат на процес, враховуючи, що змінні регульовані, а не фіксовані або структурні фактори, неспроможні до маніпуляцій. Зрештою, це повинно призвести до якогось тесту на а / б.

На ваш погляд, Метт, і як і в усіх порядкових рейтингах, незначні нюанси чи відмінності між змінними можуть бути неоднозначними або затьмареними, підтверджуючи їх корисність.

Я повністю з вами згоден з теоретичної точки зору. Але з практичної точки зору змінна важливість дуже корисна.

Візьмемо приклад, коли страхова компанія хоче зменшити кількість запитань у анкеті, що оцінює ризик їх клієнтів. Чим складніша анкета, тим менше ймовірність, що клієнти купують свою продукцію. З цієї причини вони хочуть зменшити менш корисні питання, підтримуючи рівень кількісної оцінки ризиків. Рішення часто полягає у використанні змінної важливості для визначення того, які питання буде видалено з анкети (та мають "більш-менш" однаковий прогноз щодо профілю ризику перспективи).