Чи впливає перехресна перевірка на її результати?

Як відомо, існує два популярних типи перехресної перевірки, K-кратна та випадкова підсистема (як описано у Вікіпедії ). Тим не менш, я знаю, що деякі дослідники роблять і публікують документи, де те, що описується як резюме в K-кратному стані, є насправді випадковим підмінами, тому на практиці ви ніколи не знаєте, що є насправді в статті, яку ви читаєте.
Звичайно, різниця непомітна, і це стосується мого питання - чи можна придумати приклад, коли результат одного типу суттєво відрізняється від іншого?

machine-learning cross-validation

Ви, звичайно, можете отримати різні результати просто тому, що ви тренуєтесь на різних прикладах. Я дуже сумніваюся, що існує алгоритм або проблемний домен, де результати цих двох варіантів різняться певним чином.

— бармагулів
джерело

Я мав на увазі значно інші результати. Я також думаю, що немає жодного, принаймні реального прикладу. І все-таки я думаю, ще почекаю ще деякий час.

Звичайно, різниця непомітна, і це стосується мого питання - чи можна придумати приклад, коли результат одного типу суттєво відрізняється від іншого?

Я зовсім не впевнений, що різниця непомітна, і що лише у спеціальному прикладі це буде помітно. Як методи перехресної перевірки, так і методи завантаження (підвідбірки) критично залежать від їхніх проектних параметрів, і це розуміння ще не повне. Взагалі результати в перехресній валідації k-кратно залежать критично від кількості складок, тому ви можете очікувати, що результати завжди відрізняються від результатів, які ви б спостерігали при підборі вибірки.

Справа в суті: скажіть, що у вас справжня лінійна модель з фіксованою кількістю параметрів. Якщо ви використовуєте k-кратну перехресну валідацію (із заданим, фіксованим k) і нехай кількість спостережень переходить до нескінченності, k-кратна перехресна перевірка буде асимптотично невідповідною для вибору моделі, тобто вона виявить неправильну модель з ймовірність більша за 0. Цей дивовижний результат зумовлений Джуном Шао, "Лінійний вибір моделі шляхом перехресної валідації", Журнал Американської статистичної асоціації , 88 , 486-494 (1993), але в цьому руслі можна знайти більше робіт.

Загалом, респектабельні статистичні документи задають протокол перехресної перевірки саме тому, що результати не є інваріантними. У випадку, коли вони вибирають велику кількість складок для великих наборів даних, вони зауважують та намагаються виправити ухили у виборі моделі.

— веселий
джерело

Ні, ні, ні, мова йде про машинне навчання, а не про вибір моделі.

Цікава відмінність. Я вважав, що вибір моделі займає центральне значення для машинного навчання майже у всіх значеннях цього терміна.

— гаппі

Всі ці речі працюють для тривіальних (здебільшого лінійних) моделей, коли у вас мало параметрів, і ви просто хочете пристосувати їх до даних, щоб сказати про це щось, як у вас y і x, і ви хочете перевірити, чи y = x ^ 2 або y = х. Тут я говорю про оцінку похибки таких моделей, як SVM або RF, які можуть мати тисячі параметрів і все ще не надто придатні через складну евристику.

Ці результати справедливі для регресії загальних лінійних моделей з довільною кількістю незалежних змінних. Змінні можуть бути довільними учнями. Важливим припущенням є те, що в міру того, як кількість спостережень йде до нескінченності, кількість учнів, що описують справжню модель, залишається кінцевою. Все це працює для регресії, тому для завдання класифікації, як ваша, я не впевнений, що це допомагає.

— гаппі

Це не; GLM - це не машинне навчання. Справжні методи машинного навчання досить мудрі, щоб утримати рівень складності незалежно від зростаючої кількості об'єктів (якщо цього, звичайно, достатньо); навіть для лінійних моделей ця теорія працює досить погано, оскільки конвергенція погана.