Запитання з тегом «overfitting»

Чи є математичне чи алгоритмічне визначення надфітфінгу? Часто даними визначеннями є класичний двовимірний графік точок з лінією, що проходить через кожну точку, і крива втрати валідації раптово піднімається вгору. Але чи є математично суворе визначення?

18 mathematical-statistics  optimization  overfitting 

Якщо у мене є дані і я запускаю класифікацію (скажімо, випадковий ліс за цими даними) з перехресною валідацією (скажімо, у 5 разів), чи можу я зробити висновок про те, що в моєму методі немає надмірного розміщення?

17 cross-validation  overfitting 

Хоча результати приватного тестового набору не можуть бути використані для подальшого вдосконалення моделі, чи не є вибір моделі з величезної кількості моделей на основі результатів приватного тестового набору? Чи не вдалося б ви, лише через цей процес, прилаштуватись до приватного тестового набору? Відповідно до "Псевдоматематики та фінансового шарлатанізму: Вплив перенапруження …

16 model-selection  overfitting  out-of-sample 

Розглянемо проблему класифікації набору даних MNIST. Згідно з веб-сторінкою MNIST Янна Лекуна , "Ciresan та ін." отримали 0,23% помилок на тестовому наборі MNIST за допомогою Convolutional Neural Network. Позначимо навчальний набір MNIST як , тестовий набір MNIST як D t e s t , остаточну гіпотезу, яку вони отримали, використовуючи …

16 machine-learning  classification  overfitting  probability-inequalities 

Наразі я підганяю випадкові ліси для проблеми класифікації, використовуючи randomForestпакунок на R, і не знаю, як повідомити про помилку навчання для цих моделей. Моя помилка тренінгу близька до 0%, коли я обчислюю її за допомогою передбачень, які я отримую за допомогою команди: predict(model, data=X_train) де X_trainдані про навчання. Відповідаючи на …

16 r  machine-learning  classification  random-forest  overfitting 

Скажімо, у нас є модель mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different …

16 mixed-model  lme4-nlme  overfitting  singular 

Я досить новачок у випадкових лісах. У минулому я завжди порівнював точність підгонки проти тесту проти пристосування проти поїзда, щоб виявити будь-який набір. Але я просто прочитав тут таке: "У випадкових лісах немає необхідності в перехресній валідації або в окремому наборі тесту, щоб отримати неупереджену оцінку помилки набору тестів. Оцінюється …

15 cross-validation  random-forest  overfitting 

Я чув таке вираз раніше: "Оптимізація - корінь усього зла в статистиці". Наприклад, головна відповідь у цій темі робить це твердження з посиланням на небезпеку занадто агресивної оптимізації під час вибору моделі. Перше моє запитання наступне: Чи цитата може бути приписана комусь зокрема? (наприклад, у статистичній літературі) Як я розумію, …

14 cross-validation  optimization  overfitting 

Коли ви той, хто виконує роботу, усвідомлюючи, що ви робите, ви розвиваєте почуття, коли ви переоцінили модель. З одного боку, ви можете відстежувати тенденцію або погіршення в регульованій площі R моделі. Можна також відслідковувати подібне погіршення p-значень коефіцієнтів регресії основних змінних. Але, коли ви просто читаєте, що хтось інший вивчає, …

14 regression  multivariate-analysis  overfitting 

Здається, що там є суперечливі поради щодо того, як поводитись із порівнянням помилок поїзда та тесту, особливо коли між ними є розрив. Здається, дві школи думок, які мені здаються конфліктними. Я шукаю, щоб зрозуміти, як примирити їх (або зрозуміти, чого мені тут не вистачає). Думка № 1: Розрив між роботою …

14 cross-validation  overfitting 

Моє головне питання - це намагання зрозуміти, як перехресна перевірка k-кратна вписується в контекст набору навчальних / валідаційних / тестувальних наборів (якщо вона взагалі відповідає такому контексту). Зазвичай люди говорять про розбиття даних на навчальний, валідаційний та тестовий набір - скажімо, у співвідношенні 60/20/20 за курс Ендрю Нґ - при …

14 cross-validation  dataset  overfitting 

На мою думку, корельовані вхідні дані повинні призвести до надмірного розміщення в нейронних мережах, оскільки мережа засвоює кореляцію, наприклад, шум у даних. Це правильно?

13 correlation  neural-networks  overfitting 

Я моделюю 15000 твітів для прогнозування настроїв, використовуючи одношаровий LSTM з 128 прихованими одиницями, використовуючи Word2vec-подібне представлення з 80 вимірами. Я отримую точність спуску (38% з випадковим = 20%) після 1 епохи. Якщо більше тренувань, точність валідації починає знижуватися, коли точність тренування починає підніматися - явна ознака надягання. Тому я …

13 deep-learning  regularization  overfitting  lstm 

Це межує з філософським питанням, але мене цікавить, як інші з більшим досвідом думають про вибір розподілу. У деяких випадках здається очевидним, що теорія може працювати найкраще (довжина хвоста мишей, ймовірно, нормально розподілена). У багатьох випадках, мабуть, немає теорії для опису набору даних, тож ви просто використовуєте щось, що відповідає …

12 distributions  overfitting  heuristic 

У PRML-книзі Бішопа він говорить, що надмірне оснащення - це проблема з максимальною оцінкою ймовірності (MLE), і Байєсій може цього уникнути. Але я думаю, що перевиконання - це проблема більше не щодо вибору моделі, а не щодо методу оцінки параметрів. Тобто, припустимо, у мене є набір даних , який генерується …

12 bayesian  model-selection  overfitting