MWS Cloud сообщает о запуске платформы для внедрения и эксплуатации моделей искусственного интеллекта - Inference Valve. Она позволяет выводить в продакшн любые выученные ML-модели, большие языковые модели (LLM) и модели компьютерного зрения (CV).
С помощью платформы CV-модели могут автоматически анализировать видео, отыскивая определенные объекты, сцены и действия или классифицировать медицинские изображения. ML- и LLM-модели смогут генерировать и структурировать тексты, анализировать данные, создавать их описание, прогнозировать показатели маркетинга и продаж, отвечать на неоднократно задаваемые вопросы в HR-порталах. Также на платформе можно разворачивать голосовые модели для синтеза и анализа речи, а также внедрения их в колл-центры.
Компании могут развернуть как собственные выученные AI-модели, так и воспользоваться готовыми к работе опенсорсными моделями. Кроме того, Inference Valve интегрируется с ML-платформой и приборами постоянной разработки (CI/CD), что позволяет выстроить бесшовный процесс от обучения ИИ до его внедрения в бизнес-процессы и постоянного обновления.
Платформа доступна в приватном облаке на инфраструктуре MWS Cloud, on-prem на серверах заказчика, а также в составе программно-аппаратных комплексов (ПАК) в закрытом контуре, включая режимы с ограниченным доступом к наружным сетям.
После запуска кластера профессионалы заказчика загружают артефакты модели (например, ONNX, TorchScript) в платформу, только после всего этого она автоматически формирует контейнер сервиса и публикует эндпоинт. Платформа поддерживает единовременную работу сразу с несколькими моделями с выделением квот вычислительных ресурсов, управление версиями, маршрутизацию трафика между версиями и масштабирование под нагрузку как на GPU, так и на CPU.
Inference Valve также предоставляет метрики задержек и пропускной способности, мониторинг доступности, алёрты и дашборды; доступна телеметрия качества, включая отслеживание дрейфа данных и моделей, контроль целевых метрик и уведомления при деградации. Интеграция с системами наблюдаемости (Prometheus/Grafana) и журналированием запросов упрощает аудит и разбор инцидентов.
«Без активного внедрения искусственного интеллекта практически невозможно вести счет на лидерство на рынке. Только в MWS Cloud спрос на инфраструктуру для ИИ в течение года вырос в два с лишним раза. При этом недостаточно просто научить AI-модель. Её ещё нужно интегрировать в бизнес-процессы компании, наладить её бесперебойную работу, выслеживать успешность её работы. Inference Valve позволяет сделать это из коробки за счет нескольких простых команд. С её помощью LLM и CV-модели в десятки раз прытче интегрируются с ИТ-системами компании, операционная нагрузка на ML-команды при эксплуатации моделей снижается на 70%, степень автоматизации CI/CD повышается более чем на треть, а затраты на GPU снижаются более чем на 15%», - отметил CEO MWS Cloud, исполнительный директор МТС Web Services Игорь Зарубинский.
Фото: Unsplash