Запитання з тегом «overfitting»

Перш за все: я знаю, немає загальної кількості розміру вибірки, необхідної для тренування нейронної мережі. Це залежить від занадто багато факторів, таких як складність завдання, шум у даних тощо. І чим більше навчальних зразків у мене буде, тим краще буде моя мережа. Але мені було цікаво: чи теоретично можливо тренувати …

12 neural-networks  overfitting  underdetermined 

Я хотів краще зрозуміти точний тест Фішера, тому я розробив наступний іграшковий приклад, де f і m відповідає чоловічому та жіночому, а n і y відповідає такому "споживання соди", як це: > soda_gender f m n 0 5 y 5 0 Очевидно, це різке спрощення, але я не хотів, щоб …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

У мене очевидно бімодальний розподіл значень, до якого я прагну відповідати. Дані можуть добре відповідати або з 2 нормальними функціями (бімодальними), або з 3 нормальними функціями. Крім того, існує правдоподібна фізична причина для відповідності даних 3. Чим більше параметрів буде введено, тим досконалішим буде прилягання, оскільки при достатній кількості констант …

11 distributions  normal-distribution  model-selection  overfitting 

Сьогодні наш професор на уроці заявив, що "переобладнати лінійними класифікаторами неможливо". Я вважаю, що це неправильно, оскільки навіть лінійні класифікатори можуть бути чутливими до людей, що перебувають у навчальному наборі - візьмімо, наприклад, жорсткий запас підтримки Vector Machine: Один єдиний шумний точок даних може змінити, який гіперплан буде використовуватися для …

10 classification  overfitting 

Наскільки я бачив, думки щодо цього зазвичай відрізняються. Найкраща практика, безумовно, диктує використання перехресної перевірки (особливо якщо порівнювати радіочастотні сигнали з іншими алгоритмами на тому ж наборі даних). З іншого боку, першоджерело зазначає, що обчислюється похибка OOB під час навчання моделі є достатньою для показника продуктивності тестового набору. Навіть Тревор …

10 cross-validation  random-forest  overfitting  out-of-sample 

Я прочитав деяку літературу, яку випадкові ліси не можуть перевищити. Хоча це звучить чудово, здається, занадто добре, щоб бути правдою. Чи можна для РФ переобладнати?

10 random-forest  overfitting 

Я розумію, що ми можемо використовувати регуляризацію в регресії як мінімум квадратів w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] і що ця проблема має рішення закритої форми як: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Ми бачимо, що у другому рівнянні регуляризація просто додає λλ\lambda до діагоналі XTXXTX\boldsymbol{X}^T\boldsymbol{X} , що робиться для …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Я намагаюся зрозуміти, що таке насичена модель. AFAIK - це коли ти маєш стільки ж особливостей, скільки спостережень. Чи можна сказати, що насичена модель - це особливий випадок надзвичайно приталеної моделі?

10 overfitting 

Чи це не призводить до надмірної підгонки? Чи були б мої результати більш надійними, якби я додав процедуру підключення ножа або завантажувальну машину до складу аналізу?

9 multiple-regression  bootstrap  reliability  overfitting  jackknife 

У мене є кілька прогнозних моделей, продуктивність яких я хотів би зробити тест зворотним (тобто взяти мій набір даних, "перемотати" його до попереднього моменту часу і побачити, як модель могла б працювати в перспективі). Проблема полягає в тому, що деякі мої моделі були побудовані за допомогою інтерактивного процесу. Наприклад, слідуючи …

9 cross-validation  modeling  outliers  splines  overfitting