Коли модель недостатня?

Логіка часто стверджує, що, якщо не вистачає моделі, її здатність до узагальнення збільшується. Однак, очевидно, що в якийсь момент недостатність моделі призводить до погіршення моделей незалежно від складності даних.

Звідки ви знаєте, коли ваша модель досягла правильного балансу і не відповідає недостатнім даним, який вона намагається моделювати?

Примітка. Це відповідь на моє запитання " Чому надмірне оснащення погано? "

Модель недостатня, коли вона занадто проста стосовно даних, які вона намагається моделювати.

Одним із способів виявити таку ситуацію є використання підходу-дисперсії , який може бути таким:

Ваша модель недоопрацьована, коли ви маєте високий ухил.

Щоб знати, чи є у вас занадто високий ухил або занадто велика дисперсія, ви розглядаєте явище з точки зору тренувань та помилок тесту:

Висока упередженість: Ця крива навчання показує високу помилку як на навчальних, так і на тестових наборах, тому алгоритм страждає від великої упередженості:

Висока дисперсія: Ця крива навчання показує великий розрив між помилками навчання та тестового набору, тому алгоритм страждає від великої дисперсії.

Якщо алгоритм страждає від великої дисперсії:

• більше даних, ймовірно, допоможуть
• інакше зменшити складність моделі

Якщо алгоритм страждає від великої упередженості:

• збільшити складність моделі

Я б радив переглянути курс «Машинного навчання Coursera» , розділ «10: Поради щодо застосування машинного навчання», з якого я взяв наведені вище графіки.

Щоб відповісти на ваше запитання, важливо зрозуміти орієнтир, який ви шукаєте, якщо ви шукаєте те, що ви по-філософськи намагаєтеся досягти в підгонці моделі, ознайомтеся з відповіддю Рубенса, чи добре він пояснює цей контекст.

Однак на практиці ваше питання майже повністю визначене цілями бізнесу.

Якщо навести конкретний приклад, скажімо, що ви кредитний працівник, ви видали позики на суму 3000 доларів, а коли люди повертають вам гроші, ви заробляєте 50 доларів . Природно, ви намагаєтеся створити модель, яка передбачить, як, якщо людина за замовчуванням застосовує свої позика. Дозвольте зробити це простим і сказати, що результати є або повним платежем, або за замовчуванням.

З точки зору бізнесу ви можете підсумувати ефективність моделей за допомогою матриці на випадок надзвичайних ситуацій:

Коли модель передбачає, що хтось збирається за замовчуванням, чи не так? Визначаючи недоліки надмірно придатних, я вважаю корисним розглядати це як проблему оптимізації, тому що в кожному перерізі передбачуваних віршів фактична ефективність моделі має бути або витратою, або прибутком:

У цьому прикладі передбачення дефолту, який є за замовчуванням, означає уникнення будь-якого ризику, а прогнозований невиконання за замовчуванням, який не за замовчуванням, становитиме $ 50 за виданий кредит Там, де все стає непростим, коли ви помиляєтесь, якщо за замовчуванням, коли передбачили невиконання, ви втрачаєте всю основну суму кредиту, і якщо передбачити дефолт, коли клієнту насправді не довелося б, ви втратите 50 доларів упущеної можливості. Цифри тут не важливі, лише підхід.

За допомогою цієї основи ми можемо почати розуміти труднощі, пов’язані з надмірним підходом.

Перевищення розміру в цьому випадку означатиме, що ваша модель працює набагато краще на ваші дані про розробку / тестування, ніж у виробництві. Або кажучи інакше, ваша модель виробництва буде значно нижчою від того, що ви бачили в розвитку. Ця помилкова впевненість, ймовірно, змусить вас брати набагато більш ризиковані позики, тоді як ви в іншому випадку і залишатимете вас дуже вразливими до втрати грошей.

З іншого боку, підходящий до цього контекст залишить вас моделлю, яка просто погано справляється зі збігом реальності. Хоча результати цього можуть бути дико непередбачуваними (протилежне слово, яке ви хочете описати вашими прогнозними моделями), зазвичай це відбувається, якщо стандарти компенсуються, щоб компенсувати це, що призводить до менш загальних клієнтів, що призводять до втрати хороших клієнтів.

При обляганні виникає певна протилежна складність, що над приміркою робить, що під пристосуванням дає вам меншу впевненість. Підступно, відсутність передбачуваності все ще змушує вас взяти на себе несподіваний ризик, і все це - погані новини.

На мій досвід, найкращим способом уникнути обох цих ситуацій є перевірка вашої моделі даних, що повністю виходять за рамки ваших навчальних даних, так що ви можете мати певну впевненість у тому, що у вас є представницький зразок того, що ви побачите "в дикій природі. '.

Крім того, завжди корисно періодично модернізувати свої моделі, щоб визначити, наскільки швидко ваша модель деградує, і якщо вона все ще виконує ваші цілі.

Як раз для деяких речей, ваша модель підходить, коли вона погано працює з прогнозуванням даних про розробку та виробництво.

Моделі - це лише абстракції побаченого в реальному житті. Вони розроблені з метою абстрагування азотних частинок реальної системи спостереження, зберігаючи достатньо інформації для підтвердження бажаного аналізу.

Якщо модель є надмірною, вона враховує занадто багато деталей щодо того, що спостерігається, і невеликі зміни на такому об'єкті можуть призвести до втрати моделі точністю. З іншого боку, якщо модель недостатня, вона оцінює настільки мало атрибутів, що помітні зміни на об'єкті можуть ігноруватися.

Зауважимо також, що нижній одяг може розглядатися як надмірний , залежно від набору даних. Якщо ваш вклад може бути 99% -правильно класифікований за допомогою одного атрибута, ви переозброюєте модель на дані, спрощуючи абстрагування до однієї характеристики. І, у цьому випадку, ви б занадто сильно узагальнили 1% бази в 99% -классі - або також вказали модель настільки, що вона може бачити лише один клас.

Розумним способом сказати, що модель не є ні закінченою, ні недостатнім, є проведенням перехресних перевірок. Ви розділите свій набір даних на k частини і скажіть, вибираєте одну з них для проведення аналізу, а інші k - 1 частини використовуєте для підготовки своєї моделі. Враховуючи, що сам вхід не є упередженим, ви повинні мати можливість стільки ж варіацій даних для навчання та оцінки, скільки ви мали б, використовуючи модель в обробці реального життя.

Просто, один загальний підхід полягає у збільшенні складності моделі, спрощенні і спочатку, ймовірно, недостатні, і посиленні складності моделі до тих пір, поки ранні ознаки перевиконання не стануть засвідченими за допомогою такої методики перестановки, як перехресна перевірка, завантажувальна програма, тощо.

Ви збільшуєте складність або додавши параметри (кількість прихованих нейронів для штучних нейронних мереж, кількість дерев у випадковому лісі), або розслабивши термін регуляризації (часто його називають лямбда, або С для підтримуючих векторних машин) у вашій моделі.

CAPM (Модель ціноутворення капіталу) в галузі фінансів - це класичний приклад моделі непридатності. Він був побудований на чудовій теорії, що "інвестори платять лише за ризик, який вони не можуть диверсифікувати", тому очікувана перевищення прибутку дорівнює кореляції з ринковою доходністю.

Як формула [0] Ra = Rf + B (Rm - Rf), де Ra - очікувана віддача активу, Rf - безризикова ставка, Rm - ринкова норма прибутку, а Beta - співвідношення до премії за власний капітал (Rm - Rf)

Це красиво, елегантно і неправильно. Здається, інвестори вимагають більш високої ставки невеликих запасів та вартості акцій (визначеної книгою до ринку або дивідендної доходності).

Fama та French [1] представили оновлення моделі, що додає додаткові бета-версії для розміру та вартості.

То як ви знаєте в загальному сенсі? Коли прогнози, які ви робите, неправильні, а інша змінна з логічним поясненням підвищує якість передбачення. Неважко зрозуміти, чому хтось може вважати, що невеликі акції є ризиковими, незалежними від недиверсифікованого ризику. Це хороша історія, підкріплена даними.

[0] http://www.investopedia.com/terms/c/capm.asp [1] http://en.wikipedia.org/wiki/Fama%E2%80%93French_three-factor_model