Эксперты центра мониторинга и реагирования на киберугрозы UserGate Factor (uFactor) предостерегают о потенциальной опасности, которую может нести использование ИИ-агентов. В разработке отмечается, что угрозу представляет лишнее доверие пользователей к навыкам (skills) для ИИ-агентов, распространяемым в Сети. Предупредить возможный ущерб позволяет комплекс мер, которые нужно соблюдать при работе с агентами, сообщает пресс-служба компании.
ИИ-агенты получили широкое распространение. Это автономные программы на базе ИИ, которые способны в стороне ставить цели, планировать их достижение и использовать наружные приборы и данные. Для работы ИИ-агентов необходимы специальные приборы - навыки (skills) - скрипты операций и команды, которые могут являться составлены профессионалами или скачаны с разных специализированных ресурсов. Навыки - комплекты файлов, в каких прописаны конкретные «умения» агентов, алгоритмы выполнения операций и разная дополнительная информация.
Как изъясняют в UserGate, навыки ИИ-агентов могут оказаться весьма рискованны. Потенциальную уязвимость имеют свыше 26% навыков, а наиболее распространенными рисками являются утечка данных и движение вперед привилегий, получаемых ИИ-агентом. Можно выделить четыре основные группы вероятных рисков, которые несут ИИ-агенты: распространение вредоносного ПО, передача данных во наружные системы, получение избыточных или повышенных привилегий и манипулирование поведением ИИ-агента.
Эксперт uFactor Арина Захарова, которая специализируется на анализе защищенности, приводит в качестве образца один из сценариев вредоносного поведения агента. Сотрудник подключает ИИ-агенту полезный навык для работы с корпоративными документами. Вместе с навыком агент получает набор инструкций, среди которых есть вредоносные, а также доступ к файловому хранилищу и возможность обращаться к наружным сервисам.
На входах агент начинает выполнять действия, которых от него никто не ждал. Он считает закрытые файлы, собирает содержащуюся внутри них информацию и отправляет ее на внешней сервер. Возможен и одно из двух, когда агент после установки навыка работы с почтовой перепиской может загадочно пересылать всю переписку преступнику. Всё такое может привести к компрометации данных или выполнению агентом действий, которые могут оказаться пакостными для компании и самого сотрудника.
Эксперт предупреждает: не стоит бездумно устанавливать и использовать навыки ИИ-агента - скил обязан быть подвергнут специальной процедуре проверки с помощью Agent Threat Rule или специализированных приборов . Кроме этого, на некоторых площадках, где публикуются навыки, например на skills.sh, доступен раздел Security Audits с результатами автоматизированных проверок. Но даже данные о прохождении аудита еще не гарантируют безопасность навыка. Поэтому необходимо сравнивать поведение агента с его назначением: проверять, соответствуют ли запрашиваемые для навыка разрешения заявленной функциональности.
Для проверки агента могут использоваться и специальные сканеры. Даже доверенные навыки необходимо запускать со взыскательными ограничениями: использовать отдельную учетную запись или рабочую среду для агента, ограничивать его доступ к файловой системе и сети, не передавать агенту все переменные окружения, а для хранения секретных данных использовать изолированные хранилища. При этом пред выполнением команды ИИ-агента он должен запрашивать соответствующее разрешение у пользователя.
«Одна из основательных проблем безопасности ИИ состоит в том, что каждый компонент такой системы в разные стороны может выглядеть безвинно. Рискованное поведение возникает в вязанке элементов, например, из-за чрезмерных полномочий, подмененных инструкций, неверно поставленной цели или неожиданной последовательности вызовов инструментов, - говорит Светлана Газизова, владелец продукта по безопасности ИИ UserGate. - Поэтому проверки отдельных компонентов уже недостаточно. Требуется контроль всей цепочки агентской системы. Необходимо выслеживать, к каким данным обращается агент, какие приборы вызывает, от чьего имени действует и соответствует ли конкретное действие поставленной задаче и выданным полномочиям. А для чувствительных операций, отправки известий, публикации информации, изменения или удаления данных у компании непременно обязаны быть предусмотрены отдельное подтверждение или запрет».
Фото: TelecomDaily.