Как из мемных картинок сделать живые видео: разбираемся в работе Dream Machine от Luma AI

В чем уникальность нейросети

Сегодня сгенерировать обычную картину для ИИ уже не составляет никаких трудностей, а вот создать динамичное видео — задачка не из простых.

Сервис Dream Machine генерирует очень качественные ролики даже в бесплатной версии, что до сих пор не удавалось сделать практически ни одной нейросети. А все потому, что большинство ИИ-сервисов создавали видео на той же архитектуре, которую использовали для изображений. В итоге видео получались кривыми, негармоничными и обрывистыми.

Первопроходцем в мире сгенерированных качественных роликов стала компания Open AI. Она создала нейросеть Sora, обучила ее не только «монтажу», но и физике, а также движению объектов. В итоге ИИ научился создавать плавные и высококачественные видеоролики. Одна беда — пока протестировать нейросеть нельзя, подписки на нее тоже нет.

Dream Machine от Luma AI построена на такой же архитектуре, как и Sora. Но этот сервис можно протестировать. И денег за это платить не нужно.

Как пользоваться Dream Machine

Пользоваться сервисом проще простого. Чтобы войти, вам понадобится аккаунт Google. Страну и язык при этом менять не нужно — в России все работает без ограничений. Правда, внутри все на английском языке, но можно включить автопереводчик.

Алгоритм запуска Dream Machine

Откройте сайт сервиса и нажмите на Try Now (или «Попробуй», если у вас будет включен автоперевод).

Далее вас попросят зайти в Google-аккаунт.

После вы попадете на страницу генерации видео.

Здесь вас сразу предупредят о том, что на бесплатном тарифе доступно только 3 запроса в сутки. Всего за месяц можно сгенерировать 30 видеороликов. У пользователей с подпиской приоритет в очереди и увеличенный лимит.

Какие возможности есть у нейросети

• Генерация видео только по описанию

• Генерация видео по изображению и описанию

• Генерация видео только по изображению

Рекомендации по работе с Dream Machine

• Писать текстовый запрос нужно только на английском языке. Русский язык нейросеть не поймет.

• Загружайте изображения в формате JPG, JPEG или PNG.

• Используйте функцию «Улучшить подсказку» (Enhance prompt), она автоматически расширяет ваш запрос, делая его более детальным. Правда, как именно нейросеть перепишет запрос, увидеть невозможно. Так что итог будет только в самом видео.

• Если вы не используете улучшенную подсказку, тогда текстовый запрос должен быть более развернутым — со всеми деталями. Так, если с улучшенной подсказкой вы можете просто написать: «Красный автомобиль едет по дороге», — и прикрепить фото, то без улучшений вам придется написать так: «Красный автомобиль едет по дороге на скорости 120 км/ч, вокруг нет других машин, дорога пустая, погода солнечная» и т. д. Только нужно будет перевести это на английский язык.

• Если с улучшенной подсказкой видео получилось не таким, каким вы его себе представляли, тогда отключите улучшения и перепишите описание.

• Если изображение не подходит, преобразуйте его в формат jpg, jpeg или png или уменьшите размер.

• Указывайте движение камеры. Например: «Камера плавно приближается к объекту».

• Лучше всего нейросеть работает с изображениями, на которых есть только один объект. И находится он посередине картинки.

• Можно попытаться оживить свои фотографии. А кто-то даже оживляет мемы.

• Для исключительно текстовых описаний лучше добавить, что все должно выглядеть кинематографично. Нейросеть создает прекрасные видео в стиле фильмов или аниме.

• Не нужно прописывать слишком длинные сцены. Ваш ролик должен уложиться ровно в 5 секунд — больше нейросеть не сделает.

• Обязательно указывайте хотя бы одно действие. Если не знаете, что это может быть, просто напишите: motion — и нейросеть сама решит, как объект будет двигаться.

• Нейросеть лучше работает, если есть изображение. Без него она генерирует с некоторыми артефактами (искажениями).

• Искажения (даже небольшие) могут быть в любом случае, к этому нужно быть готовым. Но с изображением таких багов обычно меньше.

• Персонажи могут измениться до неузнаваемости.

• Вы можете создавать до трех видеороликов в сутки. Но работать над каждым нейросеть будет отдельно в порядке очереди.

• Нейросеть не генерирует текст на самом видео — в нем будут ошибки или его будет невозможно прочесть.

• Иногда ИИ путает движения. Не удивляйтесь, если ваш герой неожиданно взлетит.

После того, как вы разберетесь с описанием, нажмите на кнопку генерации. Имейте в виду, что она находится не вверху справа, где написано Create, а в окне для описания — стрелка в кружке.

Если сервис забит запросами, то ждать в очереди придется долго — от 1 часа и дольше. Если очередь маленькая, то ваше видео будет готово через пару минут.

В разделе Your Creations («Ваши творения») будет показан статус вашего запроса. Если вы видите In queue — ваш запрос все еще в очереди.

Когда в разделе появится видео, вы сможете его сохранить:

• откройте получившийся видеоролик;
• нажмите на Download («Загрузить»).

Видео сразу же скачается на устройство.

В чем фишка подписки

Вы сможете генерировать больше видео. Чем дороже подписка — тем большее количество роликов вы можете создавать.

Как оплатить подписку

• Перейдите в Account.
• Выберите нужный тариф. Обратите внимание, что справа есть выбор: оплатить сразу за год или ежемесячно (Yearly/Monthly).

После вас перенаправят на страницу оплаты. В зависимости от того, какую подписку вы выберете — годовую или ежемесячную, вам выставят счет.

Тестируем сервис от Luma AI

Нужно быть готовым к тому, что видео получится не с первого раза. А еще важно подобрать изображение, которое нейросеть сможет разобрать. К сожалению, на моем запросе, судя по всему, ИИ не понял, что на картинке хомяк, поэтому получилось статичное видео.

Чтобы оживить хомяка, я нажала на Extend и в описании оставила только одно слово: motion. Нейросеть сама решила, как хомяк будет двигаться. Вот что из этого вышло:

Заметьте, что качество изображения во время движения заметно улучшилось!

После я решила сгенерировать видео только по текстовому описанию. Использовала подсказку самого сервиса. Вот что получилось:

Как видите, само действие вполне плавное, но что-то не то с глазами медведя…

После я решила попробовать сгенерировать видео только по изображению. Вот что вышло:

Минусы бесплатного тарифа

• Ожидание видео может затянуться надолго, если внутри сервиса большая очередь. Первое видео я ждала более 16 часов.

• Видео получаются не с первого раза. Перегенерация считается за одну попытку. Если вы истратили три возможности за сутки, то исправить видео сможете только на следующий день. Для вас высветится напоминание, что вы исчерпали дневной лимит.

• На самих видео есть водяной знак.

Что получается в сервисе от Luma AI у более опытных пользователей