ИИ-агент в проде: почему пилот работает, а реальная система ломается
Диасофт
Перевод ИИ-агента из изолированного пилота в продуктивную среду выявляет множество проблем: от задержек данных и сложностей интеграции с legacy-системами до необходимости строгого контроля доступа и защиты от атак через естественный язык. Эксперты обсудили на канале Ai4Dev, какие инфраструктурные слои и политики безопасности нужны между моделью и корпоративными данными, чтобы пилот превратился в надежный продукт.
На канале Ai4Dev эксперты обсудили проблемы перехода ИИ-агентов из пилотного режима в промышленную эксплуатацию. Виктор Овчинников из «Диасофт» отметил, что в пилоте данные загружены в отдельное хранилище, а в проде их нужно получать из множества живых систем, которые часто обновляются раз в сутки или реже. Андрей Носов добавил, что для непрерывного снабжения ИИ информацией нужна «фабрика данных», которой на многих предприятиях нет. Сергей Зыбнев, пентестер, указал, что при подключении агента к legacy-системам через pull-модель требуется интеграционный слой, а также что LLM не должна сама решать вопросы доступа — необходимы детерминированные проверки типа RBAC или ABAC. Лев Палей из «Вебмониторэкс» предложил концепцию AI gateway с разделением control plane и data plane, где каждый агент получает только разрешённый срез данных. Обсуждались и новые угрозы: атаки естественным языком, которые не ловят традиционные WAF и DLP, а также supply chain атаки через зависимости (пример с вредоносными пакетами LiteLLM в PyPI). Подчёркнуто, что без чёткого сценария использования и системы evals любые меры защиты теряют смысл.
- Сокращения
- CRM = Customer Relationship Management — управление взаимоотношениями с клиентами
- LLM = Large Language Model — большая языковая модель
- RBAC = Role-Based Access Control — управление доступом на основе ролей
- ABAC = Attribute-Based Access Control — управление доступом на основе атрибутов
- WAF = Web Application Firewall — межсетевой экран для веб-приложений
- EDR = Endpoint Detection and Response — обнаружение и реагирование на конечных точках
- DLP = Data Loss Prevention — предотвращение утечек данных
- ML = Machine Learning — машинное обучение
- AppSec = Application Security — безопасность приложений
- PyPI = Python Package Index — индекс пакетов Python
Источник: Habr — хаб ИИ —
оригинал