Неправильне використання перехресної перевірки (звітність про ефективність найкращого значення гіперпараметра)

Нещодавно я натрапив на документ, який пропонує використовувати класифікатор k-NN на певному наборі даних. Автори використовували всі наявні вибірки даних для здійснення k-кратної перехресної перевірки для різних значень k та звітування про результати перехресної перевірки найкращої конфігурації гіперпараметра.

Наскільки мені відомо, цей результат є необ'єктивним, і вони повинні були зберегти окремий тестовий набір для отримання оцінки точності на зразках, які не використовуються для оптимізації гіперпараметрів.

Чи правий я? Чи можете ви надати кілька посилань (бажано наукових робіт), які описують це неправильне використання перехресної перевірки?

Так, є проблеми зі зведенням лише результатів резюме в k-кратному рейтингу. Ви можете використовувати, наприклад, наступні три публікації для своїх цілей (хоча, звичайно, є і більше), щоб орієнтувати людей на правильний напрямок:

• Варма і Саймон (2006). "Зміщення в оцінці помилок при використанні перехресної перевірки для вибору моделі." BMC Bioinformatics , 7: 91

• Cawley & Talbot (2010). "Про перевиконання у виборі моделі та наступних зміщеннях вибору в оцінці продуктивності." Journal of Machine Learning Research , 11: 2079-2107

• Bengio & Grandvalet (2004). "Немає об'єктивного оцінювача варіації$K$-Проста перехресна перевірка. " Journal of Machine Learning Research , 5: 1089-1105

Мені особисто це подобається, тому що вони намагаються викладати питання більш простою англійською мовою, ніж математикою.