Визначення найкращої функції підгонки кривої з лінійних, експоненціальних та логарифмічних функцій

Контекст:

З питання про обмін стеком з математики (чи можу я створити програму) , хтось має набір точок , і хоче приєднати до нього криву, лінійну, експоненціальну чи логарифмічну. Звичайний метод полягає в тому, щоб почати з вибору одного з них (який визначає модель), а потім зробити статистичні розрахунки.$x-y$

Але насправді хочеться знайти найкращу криву з лінійної, експоненціальної чи логарифмічної.

Нібито, можна було б спробувати всі три, і вибрати найкраще підходящу криву з трьох відповідно до найкращого коефіцієнта кореляції.

Але я якось відчуваю, що це не зовсім кошерно. Загальноприйнятим методом є спочатку вибрати модель, одну з цих трьох (або якусь іншу функцію зв'язку), потім з даних обчислити коефіцієнти. І пост-факто збирання найкращого з усіх - це вишня. Але для мене, чи ви визначаєте функцію або коефіцієнти з даних, це все одно, ваша процедура виявляє найкраще ... річ (скажімо, яка функція - також - ще один коефіцієнт o повинен бути виявлений).

Запитання:

• Чи доцільно вибирати найкращу модель, що підходить, з лінійних, експоненціальних та логарифмічних моделей на основі порівняння статистики придатності?
• Якщо так, то який найбільш підходящий спосіб зробити це?
• Якщо регресія допомагає знайти параметри (коефіцієнти) у функції, чому не може бути дискретний параметр для вибору, з якої з трьох сімей кривих найкраще походить?

• Ви можете перевірити безкоштовне програмне забезпечення під назвою Eureqa . Він має конкретну мету автоматизувати процес пошуку як функціональної форми, так і параметрів заданого функціонального співвідношення.
• Якщо ви порівнюєте моделі з різною кількістю параметрів, ви, як правило, хочете використовувати міру відповідності, яка карає моделі з більшою кількістю параметрів. Існує багата література про те, яка відповідна міра найбільш підходить для порівняння моделей, а питання ускладнюються, коли моделі не вкладаються. Мені було б цікаво почути, що інші вважають найбільш підходящим індексом порівняння моделей з огляду на ваш сценарій (як бічна сторона, в моєму блозі нещодавно було обговорено показники порівняння моделей у контексті порівняння моделей для підгонки кривих).
• З мого досвіду, нелінійні регресійні моделі використовуються з причин, що виходять за рамки чистої статистичної відповідності даним даним:
  1. Нелінійні моделі роблять більш правдоподібними прогнози поза межами діапазону даних
  2. Для нелінійних моделей потрібна менша кількість параметрів для еквівалентної підгонки
  3. Нелінійні регресійні моделі часто застосовуються в областях, де є суттєві попередні дослідження та вибір теорії, що керують моделлю.

Це питання, яке діє в дуже різноманітних областях.

Найкраща модель - це та, яка може передбачити точки даних, які не були використані під час оцінки параметрів. В ідеалі можна обчислити параметри моделі за допомогою підмножини набору даних та оцінити ефективність придатності для іншого набору даних. Якщо вас цікавлять деталі, зробіть пошук із "перехресною валідацією".

Отже, відповідь на перше питання - «Ні». Ви не можете просто взяти найкращу модель. Зображення, вам підходить многочлен з N-м ступенем до N точок даних. Це буде ідеально підходить, тому що вся модель точно передасть усі точки даних. Однак ця модель не буде узагальнювати нові дані.

Наскільки я можу сказати, найбільш підходящий спосіб - це обчислити, наскільки ваша модель може узагальнити інші набори даних, використовуючи метрики, які одночасно карають амплітуду залишків і кількість параметрів у вашій моделі. AIC та BIC - це деякі з цих показників, які я знаю.

Оскільки багато людей регулярно досліджують пристосування різних кривих до своїх даних, я не знаю, звідки беруться ваші застереження. Зрозуміло, існує той факт, що квадратика завжди буде відповідати принаймні так само як лінійна і кубічна, принаймні, як і квадратична, тому існують способи перевірити статистичну значимість додавання такого нелінійного терміна і, таким чином, уникати зайвих складностей. Але основна практика тестування багатьох різних форм стосунків - це лише хороша практика. Насправді, можна почати з дуже гнучкої регресії лесових тканин, щоб побачити, який найбільш вірогідний тип кривої має відповідати.

Вам дійсно потрібно знайти баланс між наукою / теорією, яка веде до даних, і тим, що дані вам говорять. Як казали інші, якщо ви дозволите собі підходити до будь-якої можливої ​​трансформації (поліноми будь-якого ступеня тощо), тоді ви закінчитеся надягатись і отримуєте щось марне.

Один із способів переконати себе в цьому - через моделювання. Виберіть одну з моделей (лінійну, експоненціальну, журнальну) та генеруйте дані, що відповідають цій моделі (з вибором параметрів). Якщо ваша умовна дисперсія значень y мала відносно поширення змінної x, то простий графік дасть зрозуміти, яка модель була обрана і що таке "істина". Але якщо ви вибираєте набір параметрів, таких, що це не очевидно з сюжетів (напевно, випадок, коли аналітичне рішення представляє інтерес), тоді проаналізуйте кожен із 3-х способів і подивіться, який "найкращий" варіант відповідає. Я очікую, що ви виявите, що "найкраще" пристосування часто не є "справжнім".

З іншого боку, іноді ми хочемо, щоб ці дані нам якомога більше розповідали, і, можливо, у нас немає науки / теорії, щоб повністю визначити характер відносин. Оригінальний документ Box and Cox (JRSS B, том 26, № 2, 1964 р.) Розглядає способи порівняння декількох перетворень на змінній y, їх заданий набір перетворень має лінійний і журнал як особливі випадки (але не експоненціальні) , але нічого в теорії статті не обмежує вас лише їх сімейством перетворень, та ж методологія може бути розширена, щоб включити порівняння між трьома моделями, які вас цікавлять.