Runway научилась рисовать по эскиз и схемам

Нейросеть Runway добавила возможность задавать композицию будущего изображения или видео с помощью схем и рисунков. Новая функция работает в режиме References и позволяет точно размещать объекты в кадре — от предметов интерьера до людей на постере.

Обновление стало доступно пользователям с моделью Gen-4, подписка на которую начинается от $15 в месяц.

Об этом сообщил сооснователь стартапа Кристобаль Валенсуэла в X:

«Теперь можно буквально нарисовать, где в кадре должен быть стол, человек или дерево — и модель это учтёт. А потом вы можете оживить эту сцену в видео».

Он продемонстрировал несколько примеров. В одном из них нейросеть по фотографии Уиллема Дефо и схеме с вазой и бананом сгенерировала реалистичную сцену с актёром.

Пользователи в соцсетях подхватили тренд. Один из них создал рекламный постер Nivea в бассейне, загрузив схему с точным расположением флаконов. При изменении композиции и добавлении уточки модель также скорректировала сцену.

Другой пользователь использовал мудборд и схему для интерьера — нейросеть точно передала стиль предметов.

Автор под ником StelfieTT «посадил» актёров у бассейна, не описывая сцену словами — модель поняла всё по референсу.

Runway распознаёт не только геометрические схемы, но и наброски, сделанные в графических редакторах. Это расширяет возможности визуального сторителлинга: теперь дизайнеры, маркетологи и создатели видео могут не только писать текстовые запросы, но и буквально рисовать, что хотят получить.

Runway остаётся одним из главных игроков на рынке генеративного видео. С выходом Gen-4 в 2024-м улучшилась детализация и точность кадров, а теперь модель ещё и умеет ориентироваться в пространственных схемах.

Ранее OpenAI пришлось признать, что ChatGPT стал льстить всем подряд.