«Сбер» выпустил супружество генеративных моделей Kandinsky WM 1.0. Они научены генерировать видео, более безошибочно соответствующие законам физики и годные для обучения систем Physical AI.
В основе моделей нейросеть Kandinsky 5.0 Video Lite, дополнительно наученная на видео с камер роботов, беспилотных автомобилей и записях промышленных процессов.
Physical AI или физический ИИ - класс систем искусственного интеллекта, которые способны воспринимать физический мир, разумеют его динамику и могут управлять реальными устройствами. В отличие от языковых моделей, для физического ИИ просто нет открытых обучающих данных в достаточном масштабе. Собирать такие данные совсем непросто и дорого: нужны устройства, датчики, операторы, контролируемая среда. Автомобиль с камерами и датчиками накапливает порядка 5000 часов записей в год, тем временем как современным моделям нужны миллионы часов. А многие редкие и трудные сценарии, например, ДТП, экстремальную погоду, отказы оборудования - вообще нельзя воспроизвести вживую.
По оценке Яна Лекуна, лауреата премии Тьюринга и кого-то из «отцов» глубокого обучения, четырёхлетний ребёнок только через зрение получает больше информации, чем содержится во всех текстах, на которых научены крупнейшие языковые модели. Поэтому следующий рубеж физического ИИ - обучение на видео, а синтетические данные становятся ключевым способом отразить нападки разрыв в объёмах.
Творимые моделями Kandinsky WM видео продолжаются около 5 секунд и отражают отдельные действия: манипуляции с предметами (взял, положил, разрезал), дорожные ситуации (перестроение, проезд перекрёстка), этапы производственных процессов - базовые «кирпичики», из которых складывается обучение автономных систем.
Как говорится в известьи компании, это первое поколение нейросетей на пути к полноценным моделям мира – системам, способным моделировать развитие сцены во времени и служить симуляторами для обучения и тестирования роботов. Кроме генерации данных, такие нейросети могут выступать основой для систем управления: обученная при генерации видео физическая интуиция, переносится в модели действий роботов.
Фото: Unsplash