Питання інтерв'ю вченого: Лінійна регресія низька і що б ви зробили

Я стикався з питанням інтерв'ю для роботи, де інтерв'юер запитав мене, припустимо, що ваш дуже низький (від 5 до 10%) для моделі еластичності ціни. Як би ви вирішили це питання?$R^2$

Я не міг придумати нічого іншого, крім того, що я буду робити регресійну діагностику, щоб побачити, що пішло не так, чи потрібно застосовувати будь-який нелінійний метод. Я чомусь думаю, що інтерв'юер не був задоволений моєю відповіддю. Чи є ще щось, що робиться в такому сценарії, щоб відповідати моделі та використовувати її для прогнозування рівня виробництва, незважаючи на те, що вона має низький ?$R^2$

Редагувати : На більш пізньому етапі вони дали мені дані для моделювання проблеми під час співбесіди, і я спробував додати відсталі змінні, вплив ціни конкурента, сезонності манекенів, щоб побачити, чи має це якесь значення. дорівнював 17,6 відсотка, а його ефективність у вибітці про тримання була низькою. Особисто я вважаю неетичним розміщувати таку модель для прогнозування в прямому середовищі, оскільки це дасть помилкові результати та призведе до втрати клієнтів (уявіть, використовуючи рекомендації щодо ціноутворення з такої моделі щодо доходу вашої компанії!). Чи є ще щось, що робиться в таких сценаріях, що є занадто очевидним, що потрібно знати кожному? Щось, чого я не знаю, про що я спокусився сказати «срібна куля»?$R^2$

Крім того, давайте уявимо, що після додавання екзогенної змінної покращується ще на 2%, то що можна зробити в цьому сценарії? Чи варто відмовлятись від проектування моделей чи все ще є надія на розробку моделі якості рівня виробництва, що вказується на ефективність на вибірці затримки?$R^2$

Edit2 : Я відправив цей питання в economics.stackexchange.com форуму для розуміння цієї проблеми з точки зору економіки

Що робити, якщо ми розглянемо проблему з цієї точки зору. Еластичність цін - це співвідношення між попитом і ціною товару.

Коли r-квадрат у цій ситуації низький, то, можливо, ми можемо мати на увазі, що зв'язок між ціною та попитом на конкретний товар не є сильним.

З точки зору ціноутворення це може означати, що ви знайшли товар, на який можна довільно цінувати без великого впливу на попит АБО, що попит досить нестабільний, незважаючи на різницю ціни.

Якщо ви подивитеся на товари Veblen , то це приклади, коли еластичність обернена. Зі збільшенням цін попит збільшується.

Якщо, з іншого боку, r-квадрат низький, він може просто означати категорію товару, для якого ціна відносно неважлива, коли мова йде про попит. Зверху моєї голови препарат проти раку міг би бути чимось, що могло б дотримуватися цієї властивості. Там, де важливість препарату переважає ціну, яку він наказує, і не може виявити зміни попиту.

І на закінчення, я припускаю, що намір інтерв'юера міг би бути судженням, якби ви знали, що означає значення низького r-квадрата замість того, щоб дізнатися, як побудувати кращу модель з більш високим r-квадратом.

Я не впевнений, що було після інтерв'юера, але коли я стикаюся з погано формуючою моделлю, це те, що я вважаю, і відповідь, яку я хотів би почути як інтерв'юер (беруть інтерв'ю вже пару років).

1. Отримання додаткових даних : Це може не завжди допомогти, але є кілька речей, які допоможуть вам оцінити ефекти цього рішення:

   • Запустіть модель з різними розмірами вибірки - якщо результати покращаться за допомогою більшої кількості даних, то розумне припущення отримання більшої кількості даних буде продовжувати покращувати продуктивність моделі.
   • Співвідношення функцій до вибірки - після вибору функцій спробуйте зрозуміти, чи є у вас достатньо зразків для кожного значення функції. Дивіться відповідь на це питання .
   • Відсутні цільові значення - еластичність може не відрізнятися між різними ціновими діапазонами. У ситуації, коли ваші вибіркові дані є упередженими до певного діапазону, є хороший шанс, що ви не зможете узагальнити (наприклад, 90% зразків припадає на ціни між 0-10, а інші 10% - на ціни між 1000-10000). Існують способи вирішення цієї проблеми, крім отримання більшої кількості даних (розділіть тренувальну модель, не використовуйте регресію).

2. Краща інженерія функцій : Якщо у вас є достатня кількість даних і ви знаєте про глибоке навчання, то, можливо, це не має значення. Якщо ви не відповідаєте згаданим критеріям, зосередьте свої зусилля саме на цьому. У моделях поведінки користувачів є багато відносин, які наша інтуїція людини краще розуміє, ніж модель, що навчається машиною.
   Як у вашому випадку, коли ви настільки сильно спроектували декілька функцій та покращили продуктивність моделі. Цей крок схильний до помилок, оскільки зазвичай включає код на основі логіки (If Elses / Mathematical formula).

3. Кращий вибір моделі : Як ви запропонували, можливо, нелінійна модель буде працювати краще. Чи ваші дані однорідні? Чи є у вас підстави вважати, що перехресні функції краще пояснять еластичність ціни? (сезонність * ціна конкурента).

4. Налаштування гіперподібних параметрів : гіпер-параметри моделі пошуку в сітці (+ перехресні результати перевірки) є хорошою практикою, але, на мій досвід, вона рідко підвищує продуктивність (звичайно, не від 5% до 90%).

Можна зробити ще багато речей, але ці моменти є загальними.

На додаток до запропонованих @DaFanat та @Arun, я хотів би додати, що візуальний огляд може допомогти.

Наприклад, може трапитися так, що деякі люди, що переживають люди, впливають на ваш . Працюючи над проблемами управління доходами, мені довелося постійно досліджувати впливові моменти . Дуже часто люди, що випадають, асоціювалися з конкретними разовими заходами, такими як рекламні кампанії, знижки тощо.$R^2$