Как работает шлюз безопасности для корпоративных LLM: StarGuard AI

Никита Векессер, занимающийся продуктами в области AI-инфраструктуры, рассказал о создании StarGuard AI — шлюза безопасности для больших языковых моделей. Решение представляет собой reverse proxy для LLM: пользователь, OpenWebUI, IDE, агент или приложение отправляет запрос не напрямую провайдеру, а в корпоративный endpoint StarGuard AI, который проверяет запрос, применяет политики и проксирует его в нужную модель. В архитектуре продукта есть портал администратора, шлюз, модель, пользователи и группы с аутентификацией через OpenID Connect, а также детекторы. Пайплайн запроса включает проверку авторизации, обогащение контекстом, цепочку детекторов, блокировку или маскирование, отправку в LLM, обратную проверку ответа и сохранение события в журнале. Среди детекторов: детектор языка, регулярные выражения для гарантированного совпадения с шаблонами, детектор чувствительной информации (ФИО, паспорта, ИНН, СНИЛС) с четырьмя режимами (блокировка, мониторинг, предупреждение, перенаправление), и LLM-детектор контекста и атак (анализирует смысл запроса, выявляет нелегальную активность, оружие, насилие, сексуальный контент, политику, медицинские советы, prompt injection и jailbreak). Также обрабатываются файлы (PDF, DOCX, XLSX, изображения) — сначала извлекается текст, затем он проходит через детекторы. Для AI-агентов реализован детектор tool calls, контролирующий действия, которые модель предлагает агенту. Доступ к моделям настраивается через связку пользователь/группа → доступные модели → политики модели → шлюз, с лимитами и учетом токенов. StarGuard AI ориентируется на модели с OpenAI-compatible Chat Completions API, поддерживая как облачные LLM (GigaChat, YandexGPT, Claude, OpenAI, DeepSeek), так и локальные inference-сервисы.