Компания ByteDance анонсировала DreamActor-M1, новый фреймворк, предназначенный для генерации реалистичных анимаций людей на основе изображений-эталонов. Этот фреймворк решает основные проблемы современных моделей анимации, обеспечивая более точный контроль, большую адаптивность и лучшую согласованность.
Согласно информации, DreamActor-M1 основан на архитектуре Diffusion Transformer (DiT) и использует гибридный подход к управлению процессом генерации. Модель сочетает неявные представления лиц, 3D-сферы головы и 3D-скелеты тела для более точного контроля выражений лиц и движений тела. Для обработки различных поз и масштабов изображений модель обучалась по прогрессивной стратегии на наборе данных с низким и высоким разрешением.
DreamActor-M1 интегрирует паттерны движения из последовательных кадров с дополнительными визуальными ссылками для обеспечения согласованности на протяжении длительного времени, устраняя проблемы с незаметными участками во время сложных движений. В исследовательской статье сравнивается DreamActor-M1 с рядом современных моделей анимации, таких как Animate Anyone, Champ, MimicMotion и DisPose.
Результаты показывают, что DreamActor-M1 превосходит существующие методы в создании более выразительных и согласованных анимаций. Однако исследователи отметили возможные риски злоупотребления этими моделями ИИ, подчеркивая необходимость установления четких этических норм и руководств по ответственному использованию. Они планируют строго ограничить доступ к основным моделям и кодам для предотвращения злоупотреблений.
Несмотря на значительные достижения, исследователи также признают некоторые ограничения: модель испытывает трудности с контролем динамических движений камеры и генерированием физических взаимодействий с объектами окружения. В будущем они намерены решить эти проблемы и продолжить улучшать возможности модели.