Запитання з тегом «overfitting»

Я начебто розумію, що означає "переозброєння", але мені потрібна допомога щодо того, як придумати приклад із реального світу, який стосується перевиконання.

107 overfitting 

Розглянемо стару добру проблему регресії з прогнокторами та розміром вибірки . Звичайна мудрість полягає в тому, що Оцінювач OLS буде перевершувати і, як правило, перевершує оцінку гребінної регресії:Для пошуку оптимального параметра регуляризації стандартно використовувати перехресну перевірку . Тут я використовую 10-кратне резюме. Оновлення уточнення: коли , під "Оцінювачем OLS" я …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

У мене є інформація з інформатики, але я намагаюся навчити себе даним, вирішуючи проблеми в Інтернеті. Я працюю над цією проблемою останні кілька тижнів (приблизно 900 рядків і 10 функцій). Спочатку я використовував логістичну регресію, але тепер перейшов на випадкові ліси. Коли я запускаю свою випадкову лісову модель за моїми …

41 random-forest  overfitting 

Ідея адаптивного аналізу даних полягає в тому, що ви змінюєте свій план аналізу даних, коли ви дізнаєтесь більше про них. Що стосується дослідницького аналізу даних (EDA), це, як правило, гарна ідея (ви часто шукаєте непередбачені зразки в даних), але для підтверджуючого дослідження це широко сприймається як дуже хибний метод аналізу …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

Я треную просту нейронну мережу на наборі даних CIFAR10. Через деякий час втрати валідації почали зростати, тоді як точність перевірки також зростає. Втрати тесту та точність випробувань продовжують поліпшуватися. Як це можливо? Схоже, якщо збільшення втрат валідації, точність повинна знизитися. PS Є кілька подібних питань, але ніхто не пояснив, що …

28 neural-networks  deep-learning  conv-neural-network  overfitting 

Чи можливо перевиконати модель логістичної регресії? Я побачив відео, яке говорить про те, що якщо моя площа під кривою ROC вище 95%, то, швидше за все, це буде надмірно встановленим, але чи можна переоцінити логістичну регресійну модель?

28 logistic  overfitting  regression-strategies 

Я закінчив курс машинного навчання Ендрю Нґ близько року тому, і зараз пишу моє дослідження середньої математики про роботу логістичної регресії та методи оптимізації ефективності. Однією з таких методик є, звичайно, регуляризація. Метою регуляризації є запобігання надмірного пристосування шляхом розширення функції витрат на включення мети простоти моделі. Ми можемо досягти …

27 regression  machine-learning  optimization  regularization  overfitting 

Припустимо, що модель має 100% точність на даних тренувань, але 70% точність на даних тесту. Чи справедливо наступний аргумент щодо цієї моделі? Очевидно, що це надмірна модель. Точність тесту може бути підвищена за рахунок зменшення насадки. Але ця модель все ще може бути корисною моделлю, оскільки вона має прийнятну точність …

25 model  accuracy  overfitting 

Чи правда, що байєсівські методи не переборщують? (Я бачив деякі документи та навчальні посібники, які заявляють про це) Наприклад, якщо ми застосуємо Гауссовий процес до MNIST (рукописна класифікація), але покажемо йому єдиний зразок, чи повернеться він до попереднього розподілу для будь-яких входів, відмінних від цього єдиного зразка, як би невелика …

25 bayesian  nonparametric  gaussian-process  overfitting  misspecification 

Припустимо, у мене є набір даних для контрольованої статистичної задачі класифікації, наприклад, через класифікатор Байєса. Цей набір даних складається з 20 функцій, і я хочу звести його до двох функцій за допомогою методів зменшення розмірності, таких як аналіз основних компонентів (PCA) та / або лінійний дискримінантний аналіз (LDA). Обидві методи …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Я читав звіт про переможне рішення конкурсу Kaggle ( Класифікація зловмисних програм ). Звіт можна знайти у цьому дописі на форумі . Проблема була проблемою класифікації (дев'ять класів, метрика - логарифмічна втрата) із 10000 елементами в наборі поїздів, 10000 елементами в тестовому наборі. Під час змагань моделі оцінювались проти 30% …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

Я провів декілька досліджень щодо пристосування та недоопрацювання, і зрозумів, що вони саме є, але не можу знайти причин. Які основні причини перевиконання та недоотримання? Чому ми стикаємося з цими двома проблемами при навчанні моделі?

20 machine-learning  dataset  overfitting 

Моя настройка така: Я дотримуюся вказівок у "Прикладному прогнозуванні". Таким чином, я відфільтрував відповідні функції та закінчив таке: 4900 балів даних у навчальному наборі та 1600 точок даних у тестовому наборі. У мене є 26 функцій, а ціль - це суцільна змінна. Я застосовую 5-кратну перехресну перевірку для тренування моделей …

20 machine-learning  boosting  overfitting 

Регуляризація в регресії (лінійна, логістична ...) є найпопулярнішим способом зменшення перенапруги. Коли мета - точність прогнозування (не пояснення), чи існують якісь альтернативи регуляризації, особливо підходящі для великих наборів даних (ми / мільярди спостережень та мільйони функцій)?

19 regression  regularization  overfitting 

Параметр швидкості навчання ( ) у Gradient Boosting скорочує внесок кожної нової базової моделі - типово неглибокого дерева -, яка додається у серії. Було показано, що різко підвищити точність тестового набору, що зрозуміло, оскільки при менших кроках мінімум функції втрат можна досягти більш точно. ν∈ [ 0 , 1 ]ν∈[0,1]\nu …

19 machine-learning  data-mining  predictive-models  boosting  overfitting