Працюючи над аналітичним аналізом даних та розробкою алгоритмів, я знаходжу, що більшу частину свого часу я проводжу в циклі візуалізації, записую якийсь код, працює за невеликим набором даних, повторюю. Дані, які я маю, зазвичай є типом злиття з комп'ютерним зором / сенсором, а алгоритми важкі для зору (наприклад, виявлення та відстеження об'єктів тощо), і алгоритми, що знаходяться на полиці, не працюють у цьому контексті. Я вважаю, що для цього потрібно багато ітерацій (наприклад, набрати тип алгоритму або налаштувати параметри в алгоритмі, або отримати візуалізацію права), а також тривалість запуску навіть на невеликому наборі даних досить довга, тому все разом це потребує певного часу.
Як можна розробити алгоритм самостійно і зробити його більш масштабованим?
Деякі конкретні проблеми:
Як можна зменшити кількість повторень? (Окрім того, коли який алгоритм, не кажучи вже про його специфіку, не здається легко передбачити без спроб різних версій та вивчення їх поведінки)
Як працювати на великих наборах даних під час розробки? (Часто перехід від малого до великого набору даних - це коли бачите купу нової поведінки та нових проблем)
Як можна швидше налаштувати параметри алгоритму?
Як застосувати інструменти машинного навчання до самої розробки алгоритму? (Наприклад, замість того, щоб алгоритм писати вручну, напишіть кілька простих будівельних блоків і комбінуйте їх у спосіб, який вивчили з проблеми тощо)