Нейросеть научили создавать видеоролики по описанию

Создатели нейросети — исследовательская группа по интеллектуальному анализу данных Университета Цинхуа (Пекин, Китай). Принцип работы нейросети CogVideo схож с принципом работы нейросетей Google Imagine и DALL-E, которые создают статичные изображения по текстовому описанию в свободной форме. В основе CogVideo лежит та же модель искусственного интеллекта, построенная на архитектуре «Трансформер», на которой базируются Google Imagine и DALL-E. Как и любая другая нейросеть, эта обучается на примерах. В текущей версии CogVideo создатели «скормили» около 5,4 млн примеров с сопоставлениями текстового описания и видеоряда. Чем больше будет исходников, тем точнее окажутся результаты.

Посмотрите, что уже генерирует CogVideo:

Можете попробовать определить, какой ролик создан на основе этих описаний:

• Девушка, пьющая из прозрачного стакана воду.
• Мужчина, бегущий в плавках по пляжу.
• Девушка, едущая на велосипеде по зеленому полю.
• Пара ругается.
• Парень идет по горам с рюкзаком за спиной.
• Мальчик занимается серфингом в море.
• Молодой человек пьет кофе.
• Девушка верхом на коне скачет по морю.
• Мужчина ест пиццу.
• Женщина ругается по мобильному телефону.
• Мужчина танцует в наушниках.
• Собака бежит по лужайке.
• Ночь над городом.
• Девушка, нарисованная в аниме-стилистике, танцует.
• Девушка пьет молочный чай на улице.
• Грустная женщина плачет.

Как можно видеть, с одними описаниями CogVideo справлялась хорошо, с другими получалось не очень. Так, на текстовый запрос «Лев пьет воду» нейросеть выдала ролик, в котором зачем-то приделала животному человеческие руки. А на запрос «Девушка бежит по пляжу вечером» нейросеть создала видео, на котором девушка действительно бежит по пляжу, но днем.

Для начала все-таки неплохо — будем ждать более релевантных результатов. Ведь с картинками уже получается неплохо.