Бизнес все чаще поручает искусственному интеллекту не просто отвечать на вопросы, а самостоятельно выполнять задачи, от обработки документов до управления корпоративными системами. По оценке Kama Flow, к 2030 году потенциал российского рынка ИИ-агентов и автоматизации бизнес-процессов составит 78 миллиардов рублей.
Вместе с возможностями растут и риски: агент может получить доступ к лишним данным или совершить действие, которого от него никто не ждал. Генеральный директор компании «Инфомаксимум» Александр Бочкин рассказал «Петербург.Эксперту», как выстроить архитектуру полномочий ИИ, чтобы автоматизация не обернулась ущербом для бизнеса.
Ключевая особенность ИИ-агента в том, что он сам определяет порядок действий для решения задачи. В этом и кроется опасность: нейросеть может неверно понять поручение, проигнорировать заданное ограничение или выполнить операцию, о которой ее не просили.
По словам Александра Бочкина, в компании сталкивались с такими ситуациями на раннем этапе. Нейросети получали слишком широкие полномочия и в ходе работы могли вмешиваться даже в ядро системы. Решением стало разделение режимов: для бизнес-пользователей набор ИИ-инструментов ограничили, а расширенные возможности оставили профессиональным разработчикам.
Первое правило безопасной архитектуры — давать агенту ровно те права, которые нужны для конкретной задачи. Так, ИИ, который разбирает обращения клиентов, может читать данные и предлагать рекомендации. Удалять записи, менять настройки или публиковать результаты ему при этом разрешать необязательно.
В «Инфомаксимуме» бизнес-пользователям доступен ограниченный набор инструментов. ИИ создает аналитические панели и скрипты автоматизации в формате YAML, которые проверяются перед применением, но не может напрямую править исходный код платформы. В профессиональном режиме права настраиваются отдельно: от доступа к коду только на чтение до разрешения изменять определенные компоненты. Доступ к рабочим пространствам тоже разграничен.
«Важно разграничивать не только доступ к информации, но и сами действия. Агент может проводить исследование и готовить результат, но это не означает, что он должен иметь право изменять исходную систему. Например, создание аналитического отчета и его публикация могут быть разделены: первое выполняет ИИ, второе — сотрудник с соответствующими полномочиями», — отметил Александр Бочкин.
Одних ограничений доступа мало: даже действуя в рамках разрешенного, агент способен ошибиться. Поэтому результат его работы нужно проверять до того, как он будет применен.
В компании выстроили многоступенчатую систему контроля. Агент составляет план разработки и делит его на задачи, а для закрытия каждого этапа должен предъявить доказательства: результаты тестов, ссылки на коммиты или другие проверяемые артефакты. Их оценивает отдельный ИИ-верификатор, который не пропускает работу дальше, пока требования не выполнены. Все изменения сначала тестируются в изолированной среде без доступа к рабочим данным.
«Мы исходим из того, что „словам« нейросети о выполненной работе доверять нельзя. Нужны объективные подтверждения: результаты тестов, проверяемые артефакты, независимая проверка другим агентом. При этом автоматизация должна оставаться прозрачной, чтобы специалисты могли разобраться, какие действия выполнялись и к чему они привели», — подчеркнул эксперт.
Еще один обязательный элемент — журналирование операций. Журнал позволяет восстановить цепочку действий агента и найти причину сбоя.
Александр Бочкин предостерегает и от другой крайности, полного запрета на самостоятельные действия ИИ. По его мнению, степень свободы агента должна зависеть от того, во что может обойтись его ошибка. Рутинные операции с понятными правилами можно доверить ему целиком. Изменение финансовых данных, удаление информации или выдача прав доступа требуют подтверждения человека.
«Автономность нужно расширять постепенно. Сначала система предлагает действие, затем выполняет его после подтверждения человека. И только в стабильных и безопасных сценариях можно переходить к самостоятельному исполнению. При этом должна сохраняться возможность остановить операцию, проверить результат и восстановить историю действий», — добавил Александр Бочкин.
В итоге защищенность агентных систем зависит прежде всего от того, как устроено управление их действиями. Компании стоит заранее определить, какие данные доступны агенту, что он может менять сам и в какой момент обязан передать решение человеку.
