ИИ в кибербезопасности: когда защитник сам становится уязвимым
Сегодняшняя реальность заставила специалистов осознать критически важный парадокс: инструменты, призванные защищать нас от цифровых угроз, сами по себе могут стать мишенью. Использование искусственного интеллекта в сфере кибербезопасности требует не менее пристального внимания к защите самих моделей, ведь их компрометация грозит утечкой конфиденциальных данных и выполнением действий, которые пользователь никогда бы не одобрил.
Эту тревожную мысль выразил директор по информационной безопасности Цифровых активов «Газпром-Медиа Холдинга» Алексей Жуков во время дискуссии на форуме SOC FORUM, посвященной теме «Антифрод с ИИ: безопасность без вторжения в приватность». Эксперт подчеркнул двойственную природу современных технологий:
«ИИ стал важным инструментом киберзащиты, он помогает выявлять аномалии, ускорять реагирование на инциденты и снижать нагрузку на специалистов. Но та же технология используется атакующими для масштабирования DDoS-атак, фишинговых кампаний, создания поддельного синтетического аудио- и видеоконтента и поиска уязвимостей», - отметил Алексей Жуков.
Ситуация становится по-настоящему пугающей, когда речь заходит о краже защитных алгоритмов. Злоумышленники получают возможность детально изучать слабые места системы и находить способы ее обхода. Особенно коварна скрытая компрометация: система может годами работать штатно, скрывая в себе «спящий» сценарий, который активируется только при наступлении определенного условия, после чего начинает выдавать ошибочные или даже опасные результаты.
Чем больше автономности и полномочий мы предоставляем ИИ, тем катастрофичнее могут быть последствия для бизнеса. Именно поэтому, как уверенно заявляет эксперт, искусственный интеллект нельзя воспринимать как панацею:
«Поэтому ИИ в кибербезопасности следует рассматривать не как универсальное решение, а как инструмент, который требует контроля, настройки и постоянной валидации», - подчеркнул эксперт.
Жуков разъяснил, что любые защитные системы должны работать в рамках ограниченных полномочий. Они обязаны иметь четкий контроль над своими действиями и, что самое важное, возможность экстренного отключения человеком-оператором. Ключевые, критически важные решения ни в коем случае не должны быть отданы на откуп алгоритмам - финальный вердикт всегда должен оставаться за человеком.
Для таких гигантов видеорынка, как Rutube, с их многомиллионной аудиторией и сложнейшей серверной инфраструктурой, эти требования становятся вопросом выживания. Доступность контента для зрителей и инструментов для авторов напрямую зависит от того, насколько надежно защищена технологическая база.
Отдельного упоминания заслуживает проблема данных, используемых при обучении нейросетей. Здесь кроется скрытая угроза: простое удаление информации из исходной базы не гарантирует, что модель «забыла» эти сведения. Она могла их запомнить навсегда. Поэтому минимизацию персональных данных и тщательную проверку возможности их восстановления необходимо проводить еще на этапе подготовки к обучению, а не после того, как проблема уже возникла.
Фото: Magnific