Що таке основна правда

У контексті машинного навчання я бачив, що термін " Земна правда" вживається дуже багато. Я багато шукав і знайшов таке визначення у Вікіпедії :

У машинному навчанні термін "основна істина" означає точність класифікації навчального набору для контрольованих методів навчання. Це використовується в статистичних моделях для доведення або спростування гіпотез досліджень. Термін "подрібнення грунту" відноситься до процесу збору належних об'єктивних (доказних) даних для цього тесту. Порівняйте із золотим стандартом.

Байєсівська фільтрація спаму - поширений приклад наглядового навчання. У цій системі алгоритм викладається вручну відмінностям між спамом і неспамом. Це залежить від основної істинності повідомлень, які використовуються для тренування алгоритму - неточності в основній істині корелюватимуть з неточностями в отриманих виправданнях спаму / неспаму.

Справа в тому, що я дійсно не можу зрозуміти, що це означає. Це мітка, яка використовується для кожного об'єкта даних, або цільова функція, яка дає мітку кожному об'єкту даних , чи, можливо, щось інше?

machine-learning neural-network deep-learning

— ЗМІ
джерело

Відповіді:

Основна істина - це те, що ви вимірювали для своєї цільової змінної для прикладів навчання та тестування.

Майже весь час ви можете сміливо ставитися до цього так само, як до етикетки.

У деяких випадках це не точно так само, як етикетка. Наприклад, якщо ви збільшуєте свій набір даних, існує незначна різниця між основною істиною (вашими фактичними вимірюваннями) і тим, як доповнені приклади стосуються вказаних вами міток. Однак це розрізнення зазвичай не є проблемою.

Основна правда може бути неправильною. Це вимірювання, і в ньому можуть бути помилки. У деяких сценаріях ПТ це також може бути суб'єктивним вимірюванням, коли важко визначити основну об'єктивну істину - наприклад, думку експерта чи аналіз, який ви сподіваєтеся автоматизувати. Будь-яка модель ML, яку ви тренуєте, буде обмежена якістю основної істини, яка використовується для її підготовки та перевірки, і це є частиною пояснення цитати у Вікіпедії. Ось чому, опубліковані статті про ML повинні включати повний опис того, як дані збиралися.

— Ніл Слейтер
джерело

Чи можна під час тренінгу змінити чи створити gt (наприклад, проблеми зі сегментацією), отримавши інформацію (наприклад, з балів оцінок) за допомогою функцій?

— Олексій

@ Алекс: Не зазвичай. Можуть бути деякі обставини, коли один переглянений вихідний або напівавтоматизований процес виробляє основну істину для наступного алгоритму в конвеєрі. Однак якщо ви посилаєтесь на алгоритм, який переглядає власні цілі за допомогою якогось правила, то це, як правило, не вважається новою основною істиною - натомість основна істина буде оригінальними сегментами, передбаченими для навчання. Будь-яке розумне автоматизоване вдосконалення замість цього буде частиною моделі.

— Ніл Слейтер

Удосконалення взаємодії людини або посилання на оригінальні дані, що не є зображеннями (наприклад, деякі вихідні зображення генеруються за допомогою 3D-моделі, тому вони можуть створити набагато кращу "справжню" сегментацію) може стати новою основою істини. Хоча, можливо, ви хочете відокремити ідею покоління 1 первинної істини, яка використовується для побудови першої моделі від наземної істини покоління 2, яка пройшла через ітерацію, і використовується для створення другої моделі, навіть якщо друга модель є тією ж архітектурою навчений зворотній зв'язок.

— Ніл Слейтер

"навчений зворотній зв'язок" - близько, але не точно. Якщо ви бачили модель FCN, останній шар - це оцінка карти, яка підключається до функції втрати журналу softmax разом із gt-картою. Що я роблю, це взяти карту балів, витягнути з неї деякі дані (наприклад, кількість бінарних крапок argmax) та (якось) змінити маску gt перед включенням її у функцію втрати. Наскільки це законно?

— Олексій

@ Алекс: Це частина вашої моделі, а не нова основна істина. Якщо ви не вирішите, як завгодно, мета нової моделі - вивчити вашу комбіновану функцію. У такому випадку це нова істина для нової моделі - однак, вам слід, безумовно, відзначити складне джерело цих даних, оскільки вони були модифіковані з початкового вимірювання автоматизованим способом.

— Ніл Слейтер

Основна правда: це реальність, яку ви хочете, щоб ваша модель спрогнозувала.

Може виникнути шум, але ви хочете, щоб ваша модель вивчила основну схему даних, що викликають цю основну правду. Практично ваша модель ніколи не зможе передбачити основної істини, оскільки основна правда також матиме шум, і жодна модель не дає стовідсоткової точності, але ви хочете, щоб ваша модель була максимально наближеною.

— Вівек Хетан
джерело