На жаль, це питання не має гарної відповіді. Ви можете вибрати найкращу модель виходячи з того, що вона мінімізує абсолютну помилку, квадратичну помилку, максимально збільшує ймовірність, використовуючи деякі критерії, які карають ймовірність (наприклад, AIC, BIC), щоб згадати лише декілька найбільш поширених варіантів. Проблема полягає в тому, що жоден із цих критеріїв не дозволить вам вибрати об'єктивно найкращу модель, а краще найкращу, з якою ви порівнювали. Ще одна проблема полягає в тому, що під час оптимізації ви завжди можете досягти певного локального максимуму / мінімуму. Ще одна проблема полягає у тому, що вибір критеріїв для вибору моделі є суб'єктивним . У багатьох випадках ви свідомо чи напівсвідомо приймаєте рішення щодо того, що вас цікавить, і вибираєте виходячи з цього критерії. для прикладу, використання BIC, а не AIC призводить до створення парсимоніальніших моделей з меншими параметрами. Зазвичай для моделювання вас цікавлять більш парсимонічні моделі, які призводять до деяких загальних висновків про Всесвіт, тоді як для прогнозування цього не повинно бути таким, а іноді більш складна модель може мати кращу прогностичну силу (але не потрібно і часто це не). В інших випадках, іноді більш складні моделі віддають перевагу з практичних причин, наприклад, при оцінці байєсівської моделі за допомогою MCMC, модель з ієрархічними гіперприорами може вести себе краще в моделюванні, ніж більш проста. З іншого боку, ми, як правило, боїмось надяганняа простіша модель має менший ризик переобладнання, тому це безпечніший вибір. Хороший приклад для цього - автоматичний поетапний вибір моделі, який, як правило, не рекомендується, оскільки це легко призводить до завищених та необ’єктивних оцінок. Існує також філософський аргумент, бритва Оккама , що найпростіша модель є кращою. Зауважте також, що ми тут обговорюємо порівняння різних моделей, тоді як в реальних ситуаціях це також може бути так, що використання різних статистичних інструментів може призвести до різних результатів - тому є додатковий шар вибору методу!
Все це призводить до сумного, але цікавого факту, що ми ніколи не можемо бути впевнені. Ми починаємо з невизначеності, використовуємо методи боротьби з цим і закінчуємо невизначеністю. Це може бути парадоксальним, але нагадайте, що ми використовуємо статистику, тому що вважаємо, що світ непевний і вірогідний (інакше ми обирали б кар'єру пророків), тож як ми могли, нарешті, дійти до різних висновків? Не існує об'єктивного правила зупинки, є кілька можливих моделей, всі вони помиляються (вибачте за кліше!), Оскільки намагаються спростити складну (постійно мінливу та ймовірнісну) реальність. Ми вважаємо, що деякі з них корисніші за інші для наших цілей, а іноді й робимоθмк
Ви можете піти ще глибше і дізнатися, що в реальності не існує такого поняття, як "ймовірність" - це лише деяке наближення невизначеності навколо нас, а також існують альтернативні способи наближення до неї, наприклад, нечітка логіка (див. Косько, 1993 для обговорення). Навіть самі основні інструменти та теореми, на яких ґрунтуються наші методи, є наближеннями і не є єдиними можливими. Ми просто не можемо бути впевнені в таких налаштуваннях.
Правило зупинки, яке ви шукаєте, завжди є конкретним і суб'єктивним, тобто засноване на так званому професійному судження. До речі, є чимало прикладів досліджень, які показали, що професіонали часто не кращі, а іноді навіть гірші у своїх судженнях, ніж непрофесіонали (наприклад, відроджені у паперах і книгах Даніеля Канемана ), при цьому вони більш схильні до переконання (це насправді аргумент, чому ми не повинні намагатися бути «впевненими» у своїх моделях).
Косько, Б. (1993). Нечітке мислення: нова наука нечіткої логіки. Нью-Йорк: Гіперіон.