Ви дійсно правильно описали спосіб роботи з перехресним перевіркою. Насправді вам пощастило встановити розумну валідацію в кінці, тому що часто, кросвалідизація використовується для оптимізації моделі, але ніякої "реальної" перевірки не робиться.
Як зазначив @Simon Stelling у своєму коментарі, перехресне підтвердження призведе до нижчих оціночних помилок (що має сенс, тому що ви постійно використовуєте дані), але, на щастя, це стосується всіх моделей, тому, катастрофіза заборони (тобто помилки лише зменшуються трохи для "поганої" моделі, а більше для "хорошої" моделі), вибір моделі, яка найкраще працює за перекресленим критерієм, як правило, також буде найкращою для "реальної".
Метод, який іноді використовується для дещо виправлення нижчих помилок, особливо якщо ви шукаєте парсимологічні моделі, полягає у виборі найменшої моделі / найпростішого методу, для якого помилка з перекреслюванням знаходиться в межах однієї SD від (перекресленого) оптимального. Що стосується самої перехресної перевірки, це є евристикою, тому її слід використовувати з обережністю (якщо це варіант: зробіть графік своїх помилок щодо параметрів настройки: це дасть вам уявлення про те, чи є у вас прийнятні результати)
З огляду на зменшення упередженості помилок, важливо не публікувати помилки або інший показник ефективності в результаті перехресної перевірки, не згадуючи, що вони походять від перехресної перевірки (хоча, правда кажучи: я бачив занадто багато публікацій, які не згадують про те, що Показник ефективності отриманий з перевірки продуктивності на початковому наборі даних --- тому згадування перехресної перевірки фактично робить ваші результати вартішими більше ) Для вас це не буде проблемою, оскільки у вас встановлено перевірку.
Остаточне попередження: якщо ваша модель відповідає результатам серед близьких конкурентів, то варто переглянути їх результати на валідації згодом, але не базувати на цьому свій остаточний вибір моделі: ви можете в кращому випадку використовувати це для заспокоєння вашої сумління, але ваша "остаточна" модель повинна бути обрана, перш ніж ви коли-небудь подивитесь набір перевірки.
Запишіть ваше друге запитання: Я вважаю, що Саймон дав ваші всі відповіді, які вам потрібні у своєму коментарі, але щоб доповнити картину: як часто, це компроміс із зміщенням ухилу, який вступає в гру. Якщо ви знаєте, що в середньому ви досягнете правильного результату (неупередженості), ціна зазвичай полягає в тому, що кожен ваш окремий розрахунок може лежати досить далеко від нього (велика дисперсія). За старих часів непредвзятості були не плюс плюс ультра, а в поточні дні часом приймається (невеликий) ухил (тож ви навіть не знаєте, що середній з ваших розрахунків приведе до правильного результату), якщо це приводить до меншої дисперсії. Досвід показує, що баланс є прийнятним при 10-кратній перехресній оцінці. Для вас зміщення буде лише проблемою для оптимізації вашої моделі, оскільки ви зможете оцінити критерій згодом (неупереджено) на наборі перевірки. Таким чином, мало причин не використовувати кросвалідизацію.