Про «силу» слабких учнів

У мене є декілька тісно пов’язаних питань щодо слабких учнів, що навчаються в ансамблі (наприклад, стимулювання).

1. Це може здатися німим, але які переваги використання слабких на відміну від сильних учнів? (наприклад, чому б не підсилити "сильні" методи навчання?)
2. Чи є якась "оптимальна" сила для слабких учнів (наприклад, зберігаючи всі інші параметри ансамблю фіксованими)? Чи є "солодка пляма", коли мова йде про їх силу?
3. Як ми можемо виміряти силу слабкого учня стосовно сили методу ансамблю. Як ми кількісно вимірюємо граничні переваги використання ансамблю?
4. Як ми можемо порівняти кілька слабких алгоритмів навчання, щоб вирішити, який з них використовувати для заданого ансамблевого методу?
5. Якщо даний метод ансамблю допомагає слабким класифікаторам більш ніж сильним, то як ми можемо сказати, що даний класифікатор вже "занадто сильний", щоб отримати будь-які значні вигоди при його використанні?

Це може бути більше в дусі, але все-таки:

• Якщо у вас справді є сильний учень, не потрібно вдосконалювати його будь-якими речами ансамблю.
• Я б сказав ... не має значення. При тривиальному змішуванні та мішкуванні, прискорення створення занадто сильного класифікатора може призвести до певних порушень конвергенції (тобто вдале прогнозування може зробити наступну ітерацію для прогнозування чистого шуму і, таким чином, зниження продуктивності), але це, як правило, відновлюється в процесі ітерацій.

• Знову ж таки, це не реальна проблема. Суть цих методів полягає в тому, щоб

  1. змусити часткові класифікатори заглянути глибше в проблему.
  2. приєднатися до своїх прогнозів, щоб послабити шум і посилити сигнал.

  1) потребує певної уваги в стимулюванні (тобто, хороша схема прискорення, добре поводиться з частковим навчанням - але це, здебільшого, судити за експериментами на цілому прискоренні); 2) в упаковці та змішуванні (здебільшого, як забезпечити відсутність кореляції між учнями і не перенасичуйте ансамбль). Поки це нормально, точність часткового класифікатора є проблемою третього порядку.

По-перше, поняття "слабкий" та "сильний" лише слабо визначені. З моєї точки зору, вони повинні бути визначені щодо оптимального класифікатора Байєса, який є ціллю будь-якого алгоритму навчання. Зважаючи на це, моя відповідь на три пункти виглядає наступним чином.

1. Як я бачу, обчислювальні. Більшість слабких учнів, яких я знаю, обчислювально швидкі (інакше їх не варто враховувати). Основним моментом в ансамблевому навчанні є саме те, що ми можемо поєднати прості та швидкі, але не такі хороші, які навчаються та покращувати рівень помилок. Якщо ми використовуємо сильніших (і обчислювально більш вимогливих) тих, хто навчається, приміщення для вдосконалень стає менше, але обчислювальна вартість стає більшою, що робить використання методів ансамблю менш цікавим. Більше того, одного сильного учня може бути простіше інтерпретувати. Однак те, що є слабким, а що сильним, залежить від проблеми та оптимальної швидкості Байєса, яку ми намагаємося досягти. Отже, якщо учень, який часто вважається сильним, все ж залишає місце для вдосконалень при його підвищенні та прискоренні в обчислювальних обставинах, тоді зробіть підвищення ...
2. Це залежатиме від критеріїв, які ви використовуєте для вимірювання "оптимальних". Щодо рівня помилок, я б сказав «ні» (я вітаю будь-які виправлення, якщо інші мають інший досвід). Щодо швидкості, можливо, але я думаю, що це дуже залежить від проблеми. Я не знаю жодної літератури, яка б вирішила це, вибачте.
3. ?
4. Перехресне підтвердження, перехресне підтвердження, перехресне підтвердження. Як і будь-яке інше порівняння методів навчання з метою прогнозування, нам потрібні неупереджені оцінки похибки узагальнення для порівняння, що може бути досягнуто, відклавши набір даних тесту або наблизивши його шляхом перехресної перевірки.