Чи 100-відсоткова точність моделі на даних, що не мають вибірки, є надмірною?

Я щойно закінчив машинне навчання курсу R на когнітивному класі.ai і почав експериментувати з випадковими лісами.

Я зробив модель, використовуючи бібліотеку "randomForest" у Р. Модель класифікується на два класи, добрий та поганий.

Я знаю, що коли модель є надмірною, вона добре працює на даних із власного набору тренувань, але погано на даних, що не мають вибірки.

Для тренування та тестування моєї моделі я перемістив та розділив повний набір даних на 70% для навчання та 30% для тестування.

Моє запитання: я отримую 100% точність від прогнозу, зробленого на тестовому наборі. Це погано? Це здається занадто гарним, щоб бути правдою.

Завдання - розпізнавання хвиль на чотирьох один на одного залежно від форм хвиль. Особливістю набору даних є результати витрат на аналіз динамічного часового викривлення хвильових форм з їх цільовою формою хвилі.

Високі результати перевірки на кшталт точності, як правило, означають, що ви не надто підходите, однак це повинно призвести до обережності і може означати, що щось пішло не так. Це також може означати, що проблема не надто складна і що ваша модель справді працює добре. Дві речі, які можуть піти не так:

• Ви неправильно розділили дані, і дані валідації також виникли у ваших навчальних даних, тобто це вказує на перевищення, оскільки ви вже не вимірюєте узагальнення.
• Ви використовуєте інженерні функції для створення додаткових функцій, і, можливо, ви ввели цільовий витік, коли ваші рядки використовують інформацію з поточної цілі, а не лише від інших у вашому навчальному наборі

Розслідуйте, щоб побачити, які ваші найбільш передбачувані функції. Іноді ви випадково включили вашу ціль (або щось еквівалентне цілі) серед своїх можливостей.