В то время как технологии генерации видео продолжают стремительно развиваться, многие современные системы могут создавать лишь немые видео. Новый шаг в создании сгенерированных фильмов заключается в разработке звуковых дорожек для этих немых источников.
Представляем технологию V2A (видео в аудио), которая позволяет осуществлять синхронную создание аудиовизуального контента. Эта технология сочетает в себе видео пиксели и текстовые подсказки, что позволяет генерировать насыщенные звуковые пейзажи для происходящих на экране действий.
V2A совместима с такими моделями генерации видео, как Veo, и позволяет создавать сцены с драматической музыкой, реалистичными звуковыми эффектами или диалогами, соответствующими характеру и настроению видео. Функция может также использоваться для создания звуковых дорожек для традиционного видеоматериала, включая архивные записи и немые фильмы, открывая новые творческие возможности.
Ключевая особенность технологии V2A заключается в возможности генерировать неограниченное количество звуковых дорожек для любых видеоинформаций. Пользователи могут настраивать выходной звук с помощью положительных или отрицательных подсказок, предоставляя больше контроля над конечным результатом и позволяя быстро экспериментировать с аудионаполнением.
Несмотря на успешные результаты, технология V2A сталкивается с вызовами, связанными с качеством входного видео. Артефакты в видео могут привести к заметному ухудшению качества звука. Кроме того, ведется работа над улучшением синхронизации губ для видео с речью, чтобы добиться адекватного соответствия между сгенерированной речью и движением губ персонажей.
Команда, работающая над данной технологией, активно собирает мнения ведущих создателей и кинематографистов, чтобы обеспечить положительное влияние V2A на креативное сообщество. В планах также проведение строгих тестов и оценка безопасности перед открытием доступа к технологии для широкой общественности.