Что если ваш продуктивный новый цифровой сотрудник также является вашей величайшей уязвимостью? Искусственный интеллект, управляемый большими языковыми моделями (LLM), больше не является концепцией будущего. Агентные ИИ-инструменты работают вместе с людьми, автоматизируя рабочие процессы, принимая решения и помогая командам достигать стратегических результатов в бизнесе. Однако агенты ИИ также вводят новые риски, которые, если их не управлять, могут поставить под угрозу устойчивость вашей компании, целостность данных и соблюдение нормативных требований.
В отличие от старых приложений ИИ, которые работают в узко определенных рамках, таких как чат-боты или поисковые помощники, агенты ИИ предназначены для автономной работы.
Согласно отчету Accenture, среди компаний, которые добиваются корпоративной ценности от ИИ, те, которые демонстрируют сильные финансовые результаты и операционную эффективность, в 4.5 раза чаще инвестировали в агентные архитектуры. Эти компании больше не экспериментируют с ИИ-агентами; они масштабируют рабочие процессы. Однако с большей автономией возникает повышенная необходимость в доверии, и это доверие нельзя считать само собой разумеющимся.
Агенты ИИ работают в динамичных, взаимосвязаннах технологических средах. Они взаимодействуют с программными интерфейсами приложений (API), получают доступ к основным системам данных компании и перемещаются по облачной и наследственной инфраструктуре, а также сторонним платформам. Способность агента ИИ действовать независимо является активом только в том случае, если компании уверены в том, что эти действия будут безопасными, соответствующими требованиям и согласованными с бизнес-целями.
Однако большинство компаний не готовы к рискам безопасности ИИ. Только 42% опрошенных руководителей заявили, что они балансируют развитие ИИ с соответствующими инвестициями в безопасность. Лишь 37% имеют процессы для оценки безопасности ИИ-инструментов перед развертыванием.
Как руководителям сократить этот разрыв в готовности?
Пример ведущей бразильской компании в области здравоохранения иллюстрирует три лучшие практики для обеспечения безопасности агентного ИИ.
Безопасность агентного ИИ: трёхфазная структура
Бразильский поставщик медицинских услуг имеет более 27,000 сотрудников в нескольких штатах и предоставляет широкий спектр медицинских услуг, включая лабораторные тесты и диагностику. Компания стремилась устранить дорогостоящую узкую горлышко: ручная обработка запросов на обследование пациентов. Это была трудоемкая задача, медленная и подверженная человеческим ошибкам. Для повышения эффективности и точности компания обратилась к агентным ИИ-инструментам, которые могли бы обрабатывать целые рабочие процессы через различные системы.
Агенты ИИ могли считывать отсканированные формы, интерпретировать данные и точно направлять их по нескольким платформам без человеческого вмешательства. Технология сочетала в себе оптическое распознавание символов (OCR) для извлечения данных из изображений и LLM для трансформации и правильной структуры этих данных в базах данных компании. Эта сложная автоматизация требовала от LLM доступа к дополнительным системам, содержащим коды обследований, расширяя область интеграции до облачных API, унаследованных баз данных и сторонних платформ для выставления счетов.
Тем не менее, архитектура безопасности компании отставала от запланированной расширенной интеграции, увеличивая ее уязвимость к каскадным сбоям. В марте 2024 года, осознав угрозу, компания переработала свою архитектуру безопасности ИИ в три этапа.
Первый этап: Моделирование угроз для выявления уязвимостей безопасности
Агентный ИИ способен трансформировать операции предприятия именно потому, что он работает через системы, а не только внутри них. Чтобы выявить уязвимости безопасности, компания провела всестороннее моделирование угроз и картирование интеграций. В результате этих процессов была зафиксирована каждая взаимодействие между компонентами LLM, операторами и другими системами. Используя структуру самых больших уязвимостей для приложений LLM от Open Web Application Security Project, компания выявила две критические уязвимости: отравление данных и инъекцию подсказок.
- Отравление данных: намеренное манипулирование данными обучения для ухудшения целостности системы, надежности и производительности.
- Инъекция подсказок: когда злонамеренные инструкции внедряются в безобидный контент, что может изменить поведение системы.
Второй этап: Стресс-тестирование для нейтрализации угроз безопасности
Чтобы противостоять рискам отравления данных и инъекции подсказок, поставщик медицинских услуг встроил противодействующее тестирование в каждый этап своего жизненного цикла разработки ИИ. Были спроектированы упражнения по «красной команде» — контролируемые атаки, чтобы выявить реальные уязвимости до того, как их смогут использовать злонамеренные акторы.
Например, в одном тесте инженеры создали реалистичный сценарий, используя отсканированное изображение стандартной медицинской формы с внедренной скрытой подсказкой. Этот сценарий продемонстрировал, насколько легко хорошо прописанная подсказка может манипулировать конечными результатами.
Третий этап: Принуждение к соблюдению реальных ограничений безопасности
На последнем этапе компания сосредоточилась на внедрении строгих защит в реальном времени для предотвращения попыток инъекции подсказок в текстах в отсканированных изображениях. Вводимые данные проверялись и строго контролировались, что значительно снижало потенциальные возможности для мошеннических действий.
Таким образом, все эти подходы также справлялись с рисками, связанными с теневым ИИ, когда сотрудники используют несанкционированные ИИ-инструменты на работе. Карта всех взаимодействий между LLM, инструментами OCR, внутренними системами и пользователями значительно снизила риск.
Для компании в области здравоохранения эти усилия привели к значительному снижению киберугроз в ее экосистеме. Теперь компания работает с большей уверенностью в масштабировании ИИ-агентов на более широкие рабочие процессы, поскольку она знакома с уязвимостями и стратегиями снижения рисков.
Стратегическое резюме
Послание для генеральных директоров и их команд ясно: чтобы уверенно масштабировать агентный ИИ, руководители должны мыслить шире, чем просто соблюдение нормативных требований. Необходимо картировать уязвимости в технологической экосистеме организации, моделировать реальные атаки и внедрять защитные меры, которые защищают данные и выявляют злоупотребления в реальном времени. Эти шаги не только защитные — они поддерживают устойчивую и масштабируемую инновацию в ИИ.
