Я треную конволюційну нейронну мережу для класифікації зображень за умовами туману (3 класи). Однак для кожного з приблизно 150 000 зображень у мене також є чотири метеорологічні змінні, які можуть допомогти передбачити класи зображень. Мені було цікаво, як я можу додати метеорологічні змінні (наприклад, температуру, швидкість вітру) до існуючої структури CNN, щоб це могло допомогти у класифікації.
Один із способів, про який я вже можу подумати, - це створити іншу (малу) нейронну мережу подачі поруч із CNN, а потім об'єднати виходи шарів CNN та прихованих шарів нейронної сітки зображення не один одному на щільному шарі.
Другий спосіб, про який я міг би придумати, - це просто зв’язати ці особливості з щільним шаром. Однак у цьому випадку змінні без зображення (я думаю) зможуть робити лише лінійні прогнози.
Чи є якісь інші (кращі) способи, щоб функції, що не містять зображення, могли бути включені до моделі? І який би був доцільний метод, враховуючи кількість даних, які я маю?
Ще одне питання, чи потрібно мені розморожувати звивисті шари під час тренувань із цими особливостями без зображення? Ці шари Resnet-18 (які були ініціалізовані як попередньо підготовлені на ImageNet) вже були налагоджені за допомогою зображень. Я здогадуюсь, що я повинен зберігати їх замороженими і лише розморожувати щільний шар, оскільки лише тут функції, що не містять зображення, вступають у "контакт" із зображеннями (не раніше в CNN). Якщо я помиляюся на це, будь ласка, скажіть так!