Як вибрати функції нейронної мережі?

Я знаю, що на це запитання немає чіткої відповіді, але припустимо, що у мене величезна нейронна мережа з великою кількістю даних, і я хочу додати нову функцію у вхід. "Найкращим" способом було б протестувати мережу за допомогою нової функції та побачити результати, але чи є метод перевірити, чи функція НЕВІДОМНО корисна? Як кореляційні заходи ( http://www3.nd.edu/~mclark19/learn/CorrelationComppare.pdf ) тощо?

— marcodena
джерело

Невипадкова кореляція може бути показником того, що ця функція є корисною. Але я не настільки впевнений у тестах перед підготовкою, які можуть виключати ідеї. У папері, на який ви посилаєтеся, чітко видно, що нелінійні кореляції недостатньо добре виявляються наявними тестами, але нейронна сітка має шанс їх знайти та використати.

— Ніл Слейтер

Відповіді:

Дуже сильна кореляція між новою функцією та наявною ознакою є досить хорошим знаком того, що нова функція надає мало нової інформації. Ймовірно, низька кореляція між новою функцією та наявними функціями.

Сильна лінійна кореляція між новою ознакою та передбачуваною змінною є хорошим знаком того, що нова функція буде цінною, але відсутність високої кореляції не є необхідною ознакою поганої функції, оскільки нейронні мережі не обмежуються лінійними комбінаціями змінних.

Якщо нова функція була побудована вручну з комбінації існуючих функцій, спробуйте залишити її. Краса нейронних мереж полягає в тому, що потрібна невелика інженерія функцій та попередня обробка - функції замість цього засвоюються проміжними шарами. По можливості віддайте перевагу навчальним функціям, а не інженерам.

— Медісон Мей
джерело

Я завжди думав порівнювати значення для прогнозування з ознаками, ви говорите про співвідношення між ознаками. Чи відповідна ваша відповідь і до моєї справи? теоретично я повинен додати лише нові функції, які співвідносяться зі значенням для передбачення, правда?

— marcodena

Це також цінний показник - якраз оновив мою відповідь, щоб також вирішити цю проблему.

— Медісон, травень

Коротше кажучи, сильна кореляція зі значенням для передбачення є чудовим знаком, але слабка кореляція зі значенням для передбачення не обов'язково є поганою ознакою.

— Медісон,

Спасибі. Я пишу звіт і хотів показати лінійні / нелінійні кореляції, щоб обґрунтувати особливості (ще до отримання результатів). Чи має це сенс? З вашої відповіді я міг би скласти матрицю кореляцій, але, можливо, це нісенітниця

— marcodena

Я б використав нелінійні кореляції, але добре дякую

— marcodena

Якщо ви використовуєте sklearn, є добра функція, яка називається model.feature_imporances_. Спробуйте спробувати свою модель / нову функцію і подивіться, чи допомагає вона. Також шукайте приклади тут і тут .

— Анікет
джерело