Чи можна ігнорувати коефіцієнти для несуттєвих рівнів факторів у лінійній моделі?

Після пошуку роз’яснень щодо коефіцієнтів лінійної моделі тут у мене з’являється додаткове запитання щодо не-значущого (високого значення p) для коефіцієнтів рівнів факторів.

Приклад: Якщо моя лінійна модель включає коефіцієнт з 10 рівнями, і лише 3 з цих рівнів мають значні значення p, пов'язані з ними, при використанні моделі для прогнозування Y я можу вибрати, щоб не включати термін коефіцієнта, якщо суб'єкт потрапляє в один з рівень без знаків?

Більш різко, чи було б неправильним об'єднати 7 несуттєвих рівнів на один рівень та повторно проаналізувати?

Якщо ви вводите змінну передбачувача з декількома рівнями, ви або вводите змінну, або ні, ви не можете вибирати та вибирати рівні. Можливо, ви хочете реструктурувати рівні вашої змінної передбачувача, щоб зменшити кількість рівнів (якщо це має сенс у контексті вашого аналізу.) Однак я не впевнений, що це призведе до певного виводу статистичної недійсності, якщо ви руйнуються рівні, оскільки ви бачите, що вони не суттєві.

$p$$p$$p$$\alpha$$> .0001$

@ Еллі відповідь хороша.

Якщо ви вводите змінну з кількома рівнями, вам потрібно зберегти всі ці рівні в своєму аналізі. Вибір та вибір на основі рівня значущості змістить ваші результати та зробить дуже дивні речі вашим висновкам, навіть якщо якимось дивом вашим оцінкам вдасться залишитися однаковим, оскільки у вас з'являться наявні дірки у ваших оцінених ефектах на різних рівнях змінна.

Я б розглядав ваші оцінки для кожного рівня прогноктора графічно. Ви бачите тенденцію, коли ви зростаєте, або це нестабільно?

Взагалі кажучи, я також проти перекодування змінних на основі статистичних тестів - або суто на статистичних моментах. Розділення у вашій змінній повинні базуватись на чомусь більш твердому - логічно осмисленому межі, польовому інтересі до певної точки переходу тощо.

Розкриваючи два хороших відповіді, які ви вже отримали, давайте розглянемо це суттєво. Припустимо, ваша залежна змінна - (скажімо) дохід, а ваша незалежна змінна - (скажімо) етнічна приналежність, з рівнями, за визначеннями перепису (Білий, Чорний / Афр. Ам., Ам. Індіанець / штат Аляска, корінний житель, азіатський, корінний Гавай / Пак Ісландський, інші та багаторасові). Скажімо, ви манекен кодуєте це, коли Біла є еталонною категорією, і ви отримаєте

$Income = b_0 + b_1BAA + b_2AIAN + b_3AS + b_4NHPI + b_5O + b_6MR$

Якщо ви робите це дослідження в Нью-Йорку, ви, мабуть, отримаєте дуже мало корінних гавайців / острівців Тихого океану. Ви можете вирішити включити їх (якщо такі є) з іншими. Однак ви не можете використовувати повне рівняння і просто не включати цей коефіцієнт. Тоді перехоплення буде помилковим, а також будь-які прогнозовані значення доходу.

Але як слід поєднувати категорії?

Як казали інші, це має сенс .

Дати іншу думку: чому б не включити його як випадковий ефект? Це повинно штрафувати ці рівні зі слабкою підтримкою та переконатися, що розмір ефекту мінімальний. Таким чином, ви можете втримати їх усіх, не турбуючись про отримання дурних прогнозів.

І так, це більше мотивоване з байєсівського погляду на випадкові ефекти, ніж весь погляд "вибірки всіх можливих рівнів" на випадкові ефекти.

Мені також було цікаво, чи можу я поєднати неістотні категорії з референтною категорією. Наступні твердження у книзі "Обмін даними для бізнес-аналітики: поняття, методи та програми в Microsoft Office Excel® з XLMiner®, 2-е видання Галіта Шмулі, Нітін Р. Патель, Пітер К. Брюс", p87-89 (Dimension Розділ скорочення) ( Результат пошуку Google ), схоже, підтримує друге речення відповіді @ Еллі:

• "Встановлені регресійні моделі також можуть бути використані для подальшої комбінації подібних категорій: категорії, що мають коефіцієнти, які не є статистично значущими (тобто мають високе p-значення), можуть поєднуватися з референтною категорією, оскільки їх відмінність від еталонної категорії, схоже, не має істотний вплив на вихідну змінну "
• "Категорії, які мають однакові значення коефіцієнта (і однакові ознаки), часто можна комбінувати, оскільки їх вплив на змінну виводу подібний"

Однак я планую перевірити з експертами з питань тематики, чи поєднання категорій має логічний сенс (як випливає з попередніх відповідей / коментарів, наприклад, @Fomite, @gung).