Я читав лише про це, і пройшло вже щонайменше 15 років, як я побачив що-небудь у друку, але я розумію, що використовується ряд алгоритмів.
По-перше, як було сказано, деякі фільми були розфарбовані шляхом кропіткого тонування кожного кадру вручну. (Перші кілька хвилин " Знеслася вітром" було зроблено саме так, після того, як було прийнято рішення зняти решту в кольорі.)
Після цього застосовується кілька методик, всі засновані на комп'ютерній обробці зображень. Найпростіший підхід - розбити фільм на окремі сцени, кожен з яких камера не змінюється, а потім мати комп'ютерний алгоритм розпізнавання областей різної інтенсивності. Хтось на моніторі комп’ютера переглядає перші кілька кадрів сцени і задає колір кожної області, потім комп'ютер переносить це забарвлення через решту сцени, припускаючи, що визначені регіони не будуть перетворюватися настільки швидко, що зв'язок з їх призначені кольори будуть втрачені. Ця техніка зазвичай обмежується забарвленням головних дійових осіб та основним фоном, оскільки сцени так швидко змінюються у більшості фільмів,
Більш складні методи використовують алгоритми розпізнавання зображень, щоб розпізнати (наприклад) людину, відокремити тло від переднього плану тощо. І, оскільки ця схема може працювати за межами однієї сцени, можна докласти більше зусиль, щоб людина спочатку встановила кольори, тому можна використовувати більш різноманітну і яскраву палітру.
Я б здогадався (хоча я ніколи не читав), що тепер можна використовувати техніку, що нагадує комп’ютерну анімацію, базуючись на техніках, що використовуються для анімації бойовиків. Різновид руху фільмів може бути використаний для оригінального фільму, і тоді буде створена комп’ютерна анімація дії. Дещо ретельне "змішування" деталі оригінального фільму може бути збережено під час використання кольорів, створених анімацією.