Запитання з тегом «bias-variance-tradeoff»

Як різні методи перехресної валідації порівнюють з точки зору дисперсії моделі та зміщення? Моє запитання частково мотивоване цією темою: Оптимальна кількість складок у кратній перехресній валідації: чи завжди рейтинг резюме найкращий вибір? KKKК. Відповідь наводить на думку, що моделі, засвоєні з перехресною валідацією «відхід один-один», мають більшу дисперсію, ніж ті, …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Міркування щодо обчислювальної потужності вбік, чи є підстави вважати, що збільшення кількості складок при перехресній валідації призводить до кращого вибору / валідації моделі (тобто, чим більша кількість складок, тим краще)? Доводячи аргумент до крайності, чи приводить перехресна перевірка виходу з одного виходу обов'язково до кращих моделей, ніж кратна перехресна перевірка?ККK …

47 cross-validation  bias-variance-tradeoff 

Я читаю розділ компрометації дисперсії Елементи статистичного навчання, і я сумніваюся у формулі на сторінці 29. Нехай дані виникають із такої моделі, що Y= f( x ) + ϵY=f(х)+ϵ Y = f(x)+\epsilon де - випадкове число з очікуваним значенням та варіацією . Нехай очікуване значення похибки моделі - де - …

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

Я намагаюся зрозуміти компромісію зміщення зміщення, співвідношення між зміщенням оцінювача та зміщенням моделі та співвідношення між дисперсією оцінювача та дисперсією моделі. Я прийшов до таких висновків: Ми схильні перевищувати дані, коли ми нехтуємо зміщенням оцінювача, тобто тоді, коли ми прагнемо лише мінімізувати зміщення моделі, нехтуючи дисперсією моделі (іншими словами, ми …

15 regression  variance  bias  bias-variance-tradeoff 

Я читаю про найкращий вибір підмножини в книзі «Елементи статистичної книги». Якщо у мене є 3 предиктори , я створюю підмножини:2 3 = 8х1, х2, х3x1,x2,x3x_1,x_2,x_323= 823=82^3=8 Підмножина без прогнозів підмножина з предикторомх1x1x_1 підмножина з предикторомх2x2x_2 підмножина з предикторомх3x3x_3 підмножина з предикторамих1, х2x1,x2x_1,x_2 підмножина з предикторамих1, х3x1,x3x_1,x_3 підмножина з предикторамих2, …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

У "Елементах статистичного навчання" вираз для розкладання дисперсійної дисперсії лінійної моделі дається як де - фактична цільова функція, - дисперсія випадкової помилки в моделі і - лінійний оцінювач .Err(x0)=σ2ϵ+E[f(x0)−Ef^(x0)]2+||h(x0)||2σ2ϵ,Err(x0)=σϵ2+E[f(x0)−Ef^(x0)]2+||h(x0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,f(x0)f(x0)f(x_0)σ2ϵσϵ2 \sigma_\epsilon^2y=f(x)+ϵy=f(x)+ϵy=f(x)+\epsilonf^(x)f^(x)\hat f(x)f(x)f(x)f(x) Термін дисперсії мене тут хвилює, оскільки з рівняння випливає, що дисперсія буде нульовою, якщо цілі безшумні, тобтоАле для …

9 regression  linear-model  bias-variance-tradeoff 

Я б хотів класифікувати точки даних як або потребують більш складної моделі, або не потребують більш складної моделі. Моє сучасне мислення полягає в тому, щоб підключити всі дані до простої лінійної моделі та дотримуватися розмір залишків, щоб зробити цю класифікацію. Потім я почитав про зміщення та вкладення дисперсії в помилку …

9 regression  multiple-regression  residuals  bias-variance-tradeoff