Запитання з тегом «cross-validation»

AIC і BIC - це обидва методи оцінки відповідності моделі, що штрафується за кількістю оцінюваних параметрів. Наскільки я розумію, BIC карає моделі більше за вільні параметри, ніж AIC. Крім переваг, що ґрунтуються на строгості критеріїв, чи є інші причини віддати перевагу AIC перед BIC або навпаки?

222 modeling  aic  cross-validation  bic  model-selection 

Мені цікаво, як вибрати передбачувану модель після того, як зробить перехресну перевірку K-кратну кількість. Це може бути незручно сформульовано, тому дозвольте мені пояснити більш докладно: щоразу, коли я запускаю перехресну перевірку K-кратну кількість, я використовую K підмножини даних тренувань і закінчую K різними моделями. Мені хотілося б знати, як вибрати …

148 cross-validation  model-selection 

Чи завжди хороша ідея тренуватися з повним набором даних після перехресної перевірки ? Інакше кажучи, чи нормально тренуватися з усіма зразками в моєму наборі даних і не можете перевірити, чи відповідає саме цей примір ? Деякі відомості про проблему: Скажіть, у мене є сімейство моделей, параметризованих . Скажіть також, що …

139 machine-learning  cross-validation  model-selection 

Я використовую в кратної перехресної перевірки кілька разів зараз , щоб оцінити продуктивність деяких алгоритмів навчання, але я завжди був спантеличений про те , як я повинен вибрати значення .КKKKKKK Я часто бачив і використовував значення , але це здається мені абсолютно довільним, і тепер я просто використовую за звичкою, …

136 machine-learning  classification  cross-validation 

Я хотів би, щоб ваші думки щодо відмінностей між перехресною валідацією та завантажувальною програмою оцінили помилку прогнозування. Чи працює краще для невеликих розмірів наборів даних або великих наборів даних?

102 cross-validation  predictive-models  bootstrap 

Як можна використовувати вкладені перехресні перевірки для вибору моделі ? З того, що я читаю в Інтернеті, вкладене резюме працює наступним чином: Існує внутрішній цикл резюме, де ми можемо провести пошук по сітці (наприклад, запустивши K-кратно для кожної доступної моделі, наприклад, комбінація гіперпараметрів / функцій) Є зовнішня петля CV, де …

91 cross-validation  model-selection 

Як різні методи перехресної валідації порівнюють з точки зору дисперсії моделі та зміщення? Моє запитання частково мотивоване цією темою: Оптимальна кількість складок у кратній перехресній валідації: чи завжди рейтинг резюме найкращий вибір? KKKК. Відповідь наводить на думку, що моделі, засвоєні з перехресною валідацією «відхід один-один», мають більшу дисперсію, ніж ті, …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Як би ви описали перехресну перевірку для когось без фону аналізу даних?

77 cross-validation 

Нещодавно я багато читав на цьому веб-сайті (@Aniko, @Dikran Marsupial, @Erik) та інших місцях про проблему пристосування, що виникає з перехресною валідацією - (Smialowski et al. 2010 Біоінформатика, Хасті, Елементи статистичного навчання). Припущення полягає в тому, що будь-який підбір контрольованих функцій (використовуючи кореляцію з мітками класів), виконаний поза оцінкою продуктивності …

76 cross-validation  feature-selection 

Я трохи розгублений щодо вибору функцій та машинного навчання, і мені було цікаво, чи можете ви мені допомогти. У мене є набір даних мікромасив, який класифікується на дві групи та має 1000 функцій. Моя мета - отримати невелику кількість генів (мої особливості) (10-20) у підписі, які я теоретично зможу застосувати …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

Запитання: Я хочу бути впевненим у чомусь, чи просто використання перехресної валідації k із кратною послідовністю із часовими рядами чи це потрібно звернути особливу увагу, перш ніж її використовувати? Передумови: я моделюю часовий ряд на 6 років (із напівмарковним ланцюгом) із зразком даних кожні 5 хв. Для порівняння декількох моделей …

70 time-series  modeling  cross-validation 

Яка відповідна стратегія розподілу набору даних? Я прошу зворотний зв'язок на наступний підхід ( а нема на окремих параметрів , таких як test_sizeабо n_iter, але якщо я X, y, X_train, y_train, X_test, і y_testвідповідним чином і , якщо послідовність має сенс): (продовження цього прикладу з документації scikit-learn) 1. Завантажте набір …

69 machine-learning  cross-validation  python  scikit-learn 

У мене є дані про незбалансований клас, і я хочу налаштувати гіперпараметри підсиленого тресу за допомогою xgboost. Запитання Чи є еквівалент gridsearchcv або randomsearchcv для xgboost? Якщо ні, то який рекомендований підхід до налаштування параметрів xgboost?

68 machine-learning  cross-validation  xgboost  boosting 

Припустимо, у нас є хтось, який будує модель прогнозування, але хтось не обов'язково добре розбирається в правильних статистичних або машинних принципах навчання. Можливо, ми допомагаємо цій людині, коли вона навчається, або, можливо, вона використовує якийсь програмний пакет, для використання якого потрібні мінімальні знання. Тепер ця людина може цілком зрозуміти, що …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Тут і тут я знайшов два питання щодо цього питання, але поки немає очевидних відповідей чи пояснень. Я застосовую ту саму проблему, коли помилка перевірки менша, ніж помилка навчання в моїй нейронній мережі Convolution. Що це означає?

57 machine-learning  mathematical-statistics  neural-networks  cross-validation