24.10.2024
Фото: runwayml.com
Текст: Mustafin Magazine
Стартап Runway представил ИИ-модель для захвата мимики и движений лица
Новая технология разработана для создания "живых" анимаций и видео без использования 3D-скелетов и костюмов для захвата движений
Американский стартап Runway анонсировал запуск функцию Act-One. Она может создавать реалистичные анимации с помощью искусственного интеллекта. За основу ИИ-модель берет видео, снятые на любую видеокамеру, включая камеру смартфона.
Act-One переносит мимику и выражения лица актеров из видеоматериалов на лицо сгенерированных ИИ-персонажей. Runway утверждает, что эту функцию можно применять к широкому спектру референсных изображений, создавая как анимации, так и более реалистичные сцены в жанре игрового кино.
Теперь диалоговые драматические сцены, как в кино, можно генерировать с использованием только одного актера, сидящего перед камерой. Он, кстати, может зачитывать реплики и исполнять роль нескольких персонажей одновременно.
Бесплатный инструмент постепенно становится доступным для всех пользователей Runway. Однако сейчас доступ к функции Act-One будет ограничен пользователями модели генерации видео Gen-3 Alpha.
Модель Gen-3 Alpha, представленная ранее в этом году, позволяет создавать ИИ-видео на основе текстовых описаний, изображений и других видео материалов.
