«Яндекс» представил бета-версию нейросети YandexART (Vi) для создания пятисекундных видео, сообщили в пресс-службе компании.
Модель научилась воссоздавать плавные движения объектов в кадре, например, бег собаки, смещение в худшую сторону листа с дерева или взрыв фейерверка. Нейросеть могу использовать как обычные пользователи, чтобы создать, например, уникальную анимированную заставку на телефон, так и блогеры, мультипликаторы, креаторы и те профессионалы.
Генеративные нейросети «Яндекса» попали на карту ведущих мировых ИИ-разработок
YandexART (Vi) уже доступна в приложении «Шедеврум».
«Яндекс» представил предыдущую версию модели для генерации видео по текстовому описанию в начале августа бывшего года, напомнили в компании. Былее решение позволяло получать анимации, которые выглядели так, хоть ты что хочешь двигалась камера, а не объект. Кроме того, от кадра к кадру объекты при генерации значительно менялись.
YandexART (Vi) научилась воссоздавать реалистичные движения, а также учитывать связь между кадрами - благодаря этому видео получаются более целостными и плавными. Чтобы нейросеть могла справляться с этой задачей, ее выучили на роликах с движущимися объектами, например, с едущим автомобилем или крадущимся котом. Нейросеть создает последовательность кадров, которые незаметно заменяют один другого и образуют плавное видео. На входе модель получает текстовое описание от пользователя о том, что быть может в кадре (например: «Носорог пляшет хип-хоп в сумрачном лесу»), и создает картинку, с которой будет начинаться анимация. Затем модель постепенно превращает цифровой шум в последовательность кадров, опираясь на это изображение и текстовый запрос.
Yandex AI Rendering Technology (YandexART) - диффузионная нейросеть, которая создает и улучшает изображения и анимацию, а также обрабатывает загруженные фотографии в ответ на текстовые запросы.