Netflix представил VOID – ИИ для реалистичного удаления объектов из видео

Исследователи из Netflix совместно с коллегами представили инновационный инструмент для видеомонтажа – VOID (Video Object and Interaction Deletion), который не просто удаляет объекты из кадра, но и корректирует физические последствия их исчезновения. В отличие от традиционных методов, новая система обеспечивает реалистичное поведение оставшихся объектов, исключая нарушения законов физики.

Инструмент анализирует сцену в три этапа:

1. Определяет области, которые могут быть затронуты изменениями. 2. Создает специальную карту (квадромаску) для учета исчезновения теней и изменения траекторий движения. 3. Генерирует новую версию видео с учетом всех корректировок и проводит дополнительный проход для уточнения движений, чтобы избежать искажений объектов.

VOID был обучен на тысячах пар цифровых последовательностей, что позволило системе освоить причинно-следственные связи между объектами. Например, если удалить опору, персонаж естественно упадет, а не зависнет в воздухе. Так, в демонстрации с падающими костяшками домино VOID корректно смоделировал остановку цепной реакции при удалении средних элементов.

Разработчики отмечают, что VOID не просто копирует пиксели, а применяет высокоуровневое мышление и знания о физических законах. В будущем планируется расширение возможностей системы для работы с еще более сложными сценариями видеомонтажа.