Випадкова перевірка перестановки для вибору функції

Мене бентежить аналіз перестановки для вибору особливостей у контексті логістичної регресії.
Чи можете ви надати чітке пояснення тесту випадкової перестановки та як це застосовується до вибору функцій? Можливо, з точним алгоритмом та прикладами.

Нарешті, як воно порівнюється з іншими методами усадки, такими як Лассо або ЛАР?

— Уго
джерело

Ви маєте на увазі щось подібне, наприклад, де запити одного стовпця проектної матриці перестановлені, утримуючи відповідь та інші коваріати? Якщо у вас є конкретна посилання, яку ви використовуєте, може бути корисно перерахувати її.

— кардинал

Я думаю, що це посилання citeseerx.ist.psu.edu/viewdoc/… відноситься до правильної методики. На даний момент я намагаюся налагодити зв’язок із лектором, який розповів мені про цей метод ...

— Уго

Не вдалося налагодити зв’язок з ним (Дональд Геман)

— Уго

у вашому запитанні є незрозумілі моменти, які ви можете уточнити. У зв'язаному документі досить чіткий опис алгоритму. Ви хочете запитати щось конкретне щодо цього алгоритму? Це ідея робити вибір функції шляхом обчислення граничних

p

$p$ -оцінює, що ви хочете пояснити? Більше того, слід поставити під сумнів визначення 2 у статті. Це непідтримувана претензія, яка може бути робочим припущенням, але невеликою граничною

p

$p$ -значення загалом не означають актуальності. LAR, до речі, робить лінійну регресію і насправді не для двійкових відповідей.

— NRH

(Зараз у вас мало часу, тому я коротко відповім, а потім розгорніть пізніше)

Скажіть, що ми розглядаємо проблему бінарної класифікації та маємо навчальний набір $m$ зразки 1 класу та $n$ зразки 2 класу. Тест перестановки для вибору особливостей розглядає кожну особливість окремо. Тестова статистика $\theta$ , наприклад, інформаційний приріст або нормалізована різниця між засобами, обчислюється для функції. Дані для цієї функції потім випадковим чином перестановляються і розподіляються на два набори, один за розміром $m$ і одна за розміром $n$ . Статистика тесту $\theta_p$ Потім обчислюється на основі цього нового розділу $p$ . Залежно від обчислювальної складності проблеми це повторюється над усіма можливими розділами функції на два набори порядку $m$ і $n$ або випадкове їх підмножина.

Тепер, коли ми встановили розподіл по $\theta_p$ , ми обчислюємо значення p, яке спостерігається статистичним тестом $\theta$ виник із випадкового поділу ознаки. Нульова гіпотеза полягає в тому, що вибірки з кожного класу походять з однакового базового розподілу (особливість не має значення).

Цей процес повторюється над усіма ознаками, і тоді підмножина функцій, що використовуються для класифікації, можна вибрати двома способами:

The $N$ характеристики з найнижчими p-значеннями
Усі функції з р-значенням $<\epsilon$

— Бенхамнер
джерело