Проблема полягає в самому дистрибутиві VirtualBox, якому зараз бракує необхідних модулів.
Якщо ви подивилися в модуль VBoxHeadless.cpp , ви побачили, що для цього функціонування повинні бути виконані наступні умови:
- VBOX_FFMPEG має бути визначено
- Бібліотека спільного використання VBoxFFmpegFB повинна бути доступною з точкою входу VBoxRegisterFFmpegFB
У потоці VBoxHeadless "Не вдалося завантажити розширення захоплення відео" з 2009 року, хтось на ім'я xantus намагався створити необхідні умови, відповідно змінивши джерела, але це не вийшло.
Я вважаю, що належним способом зробити це - звернутися до розробників на форумах VirtualBox і переконати їх знову працювати, хоча цей варіант, здається, був покинутий щонайменше з 2009 року.