Нейросеть научили создавать видеоролики по описанию
Нейросеть называется CogVideo, ее создали в Китае, и если написать ей словами (пока только китайскими), что вы хотите получить, она сгенерирует видеоролик длиной четыре секунды и состоящий из 32 кадров.
Создатели нейросети — исследовательская группа по интеллектуальному анализу данных Университета Цинхуа (Пекин, Китай). Принцип работы нейросети CogVideo схож с принципом работы нейросетей Google Imagine и DALL-E, которые создают статичные изображения по текстовому описанию в свободной форме. В основе CogVideo лежит та же модель искусственного интеллекта, построенная на архитектуре «Трансформер», на которой базируются Google Imagine и DALL-E. Как и любая другая нейросеть, эта обучается на примерах. В текущей версии CogVideo создатели «скормили» около 5,4 млн примеров с сопоставлениями текстового описания и видеоряда. Чем больше будет исходников, тем точнее окажутся результаты.
Посмотрите, что уже генерирует CogVideo:
Можете попробовать определить, какой ролик создан на основе этих описаний:
- Девушка, пьющая из прозрачного стакана воду.
- Мужчина, бегущий в плавках по пляжу.
- Девушка, едущая на велосипеде по зеленому полю.
- Пара ругается.
- Парень идет по горам с рюкзаком за спиной.
- Мальчик занимается серфингом в море.
- Молодой человек пьет кофе.
- Девушка верхом на коне скачет по морю.
- Мужчина ест пиццу.
- Женщина ругается по мобильному телефону.
- Мужчина танцует в наушниках.
- Собака бежит по лужайке.
- Ночь над городом.
- Девушка, нарисованная в аниме-стилистике, танцует.
- Девушка пьет молочный чай на улице.
- Грустная женщина плачет.
Как можно видеть, с одними описаниями CogVideo справлялась хорошо, с другими получалось не очень. Так, на текстовый запрос «Лев пьет воду» нейросеть выдала ролик, в котором зачем-то приделала животному человеческие руки. А на запрос «Девушка бежит по пляжу вечером» нейросеть создала видео, на котором девушка действительно бежит по пляжу, но днем.
Для начала все-таки неплохо — будем ждать более релевантных результатов. Ведь с картинками уже получается неплохо.
Понравилась статья?
Теги статьи
Нам нравится, что вам нравится
Уверены, вы можете не хуже! Напишите статью и получите Бонусы.
Спасибо, что вам есть что сказать
Попробуйте расширить свою мысль и написать статью — и получите за это Бонусы.
Комментарии
Авторизуйтесь, чтобы иметь возможность писать комментарии:
Войти