Запитання з тегом «cross-validation»

Мені здається, що перевірка на витримку марна. Тобто, розділяти початковий набір даних на дві частини (навчання та тестування) та використовувати бал тестування як міру узагальнення, є дещо марним. Перехресна перевірка K-кратна, здається, дає кращі наближення до узагальнення (оскільки вона проводить тренування та тестує кожну точку). Отже, чому б ми використовували …

54 machine-learning  cross-validation  validation 

При статистичному навчанні неявно або явно завжди передбачається, що навчальний набір складається з кортежів введення / відповіді , які незалежно виводяться з того ж спільного розподілу зD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \}NNN(Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) p({\bf{X}},y) = p( y \vert {\bf{X}}) p({\bf{X}}) і відносини, які ми намагаємося зафіксувати за допомогою …

54 machine-learning  cross-validation  non-independent  iid 

Яка різниця між стратифікованою перехресною валідацією та перехресною валідацією ? У Вікіпедії сказано: У стратифікованій перехресній валідації k-кратної складки вибираються таким чином, щоб середнє значення відгуку було приблизно рівним у всіх складках. У випадку дихотомічної класифікації це означає, що кожна складка містить приблизно однакові пропорції двох типів етикетки класів. Але …

54 cross-validation  stratification 

Розглянемо стару добру проблему регресії з прогнокторами та розміром вибірки . Звичайна мудрість полягає в тому, що Оцінювач OLS буде перевершувати і, як правило, перевершує оцінку гребінної регресії:Для пошуку оптимального параметра регуляризації стандартно використовувати перехресну перевірку . Тут я використовую 10-кратне резюме. Оновлення уточнення: коли , під "Оцінювачем OLS" я …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Чи я транслюю всі свої дані або складки (якщо застосовується резюме) одночасно? напр (allData - mean(allData)) / sd(allData) Чи трансформую поїздку та набір тестів окремо? напр (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Або я перетворюю набір поїздів і використовую обчислення на тестовому наборі? напр (trainData - …

47 r  cross-validation  data-transformation  normalization  standardization 

Міркування щодо обчислювальної потужності вбік, чи є підстави вважати, що збільшення кількості складок при перехресній валідації призводить до кращого вибору / валідації моделі (тобто, чим більша кількість складок, тим краще)? Доводячи аргумент до крайності, чи приводить перехресна перевірка виходу з одного виходу обов'язково до кращих моделей, ніж кратна перехресна перевірка?ККK …

47 cross-validation  bias-variance-tradeoff 

Мені цікаво, чи хтось знає збірник методів перехресної перевірки з обговоренням відмінностей між ними та керівництвом про те, коли використовувати кожну з них. У Вікіпедії є список найпоширеніших методик, але мені цікаво, чи існують інші методи і чи є в них таксономії. Наприклад, я просто забігаю в бібліотеку, яка дозволяє …

43 cross-validation 

Чи є якісь емпіричні дослідження, що виправдовують використання одного стандартного правила помилки на користь парсингу? Очевидно, це залежить від процесу генерації даних, але все, що аналізує великий масив наборів даних, було б дуже цікавим. "Одне стандартне правило помилки" застосовується під час вибору моделей за допомогою перехресної перевірки (або більш загально …

39 cross-validation  model-selection  regularization 

TL, DR: Схоже, що, всупереч часто повторюваним порадам, перехресне підтвердження виходу-один-один (LOO-CV) - тобтократне CV з(кількість складок), що дорівнює(число навчальних спостережень) - дає оцінку похибки узагальнення, яка є найменшою змінною для будь-якого, не найбільш змінною, припускаючи певнуумову стабільності або моделі / алгоритму, набору даних, або обох (я не впевнений, який …

37 regression  machine-learning  variance  cross-validation  predictive-models 

У всіх контекстах я знайомий з перехресною валідацією, він використовується виключно з метою підвищення точності прогнозування. Чи можна розширити логіку перехресної перевірки при оцінці неупереджених зв’язків між змінними? Хоча цей документ Річарда Берка демонструє використання вибійної вибірки для вибору параметрів у "остаточній" регресійній моделі (і демонструє, чому поетапний вибір параметрів …

37 cross-validation  causality 

Я використовував пакет карети в R для побудови прогнозних моделей для класифікації та регресії. Caret надає уніфікований інтерфейс для налаштування гіпер-параметрів моделі шляхом перехресної перевірки або обв'язки завантаження. Наприклад, якщо ви будуєте просту модель "найближчих сусідів" для класифікації, скільки сусідів слід використовувати? 2? 10? 100? Caret допомагає вам відповісти на …

37 r  time-series  cross-validation 

При використанні перехресної перевірки для вибору моделі (наприклад, настройка гіперпараметрів) та для оцінки продуктивності найкращої моделі слід використовувати вкладену перехресну перевірку . Зовнішня петля - це оцінювати продуктивність моделі, а внутрішня - вибрати найкращу модель; модель вибирається на кожному зовнішньому тренувальному наборі (використовуючи внутрішній цикл резюме) і його продуктивність вимірюється …

36 cross-validation  model-selection  ridge-regression 

Я намагаюся розібратися, який метод перехресної перевірки найкращий для моєї ситуації. Наступні дані - лише приклад для роботи над проблемою (в R), але мої реальні Xдані ( xmat) співвідносяться між собою і співвідносяться в різній мірі зі yзмінною ( ymat). Я надав код R, але моє питання не про R, …

36 r  regression  cross-validation  linear-model 

У мене є набір даних, для якого у мене є кілька наборів двійкових міток. Для кожного набору міток я готую класифікатор, оцінюючи його за допомогою перехресної перевірки. Я хочу зменшити розмірність за допомогою аналізу основних компонентів (PCA). Моє запитання: Чи можливо зробити PCA один раз для всього набору даних, а …

35 machine-learning  classification  pca  cross-validation 

У CrossValided є численні теми на тему вибору моделі та перехресної перевірки. Ось декілька: Внутрішня та зовнішня перехресна перевірка та вибір моделі @ Найвища відповідь DikranMarsupial на вибір функції та перехресну перевірку Однак відповіді на ці теми є досить загальними і здебільшого висвітлюють питання з особливими підходами до перехресної валідації …

34 cross-validation  model-selection