Секреты маскируются прямо в потоковых чанках ответа, ещё до того как они долетят до клиента.
chunk: "sk-live-4f…" → [SECRET] §00 / Платформа · Self-hosted LLM Firewall
Как устроен контроль над каждым AI-запросом.
Один фиксированный конвейер: kill-switch, доступ, бюджет, DLP на входе и выходе, аудит. Ниже разобрано, что делает каждая стадия и что ловит каждый слой DLP. Каждый тезис идёт с техническим пруфом: латентность, метод, вердикт.
§01 / Пайплайн запроса
Один путь. Один порядок. Тот же маршрут каждый запрос.
11 стадий идут по фиксированному рельсу: ни одна не пропускается и не меняет очередь. DLP срабатывает дважды, воротами на входе и выходе. Полный pre-call конвейер добавляет к запросу миллисекунды и масштабируется линейно по репликам, не задерживая поток разработки.
01 kill-switch
Аварийный стоп до любой работы
L0–L4 · Redis · мгновенно
02 auth
Кто это и какая роль
JWT / OIDC / SAML · RBAC
03 model ACL
Разрешена ли запрошенная модель
whitelist allowed_models
04 rate limit
Не выходит ли за свой лимит
Redis sliding-window · per-role RPM
05 budget
Есть ли бюджет на запрос
user / team / org · 402 при исчерпании
06 DLP · pre DLP
Что уходит в модель, без утечки
слои 0–5 конкурентно · BLOCK / MASK
07 cache
Уже отвечали на это?
SHA-256 · опц. косинус эмбеддингов
08 proxy
Запрос к провайдеру
httpx forward · retry + fallback-цепочка
09 DLP · post DLP
Что вернула модель, под проверкой
слои 6–7 · галлюцинации / copyright
10 cache store
Сохранить ответ на будущее
запись + keyed-HMAC attestation
11 audit + метрики
Каждый шаг в неизменяемый журнал
HMAC-chained · метрики · SIEM CEF
→ ответ клиенту
Тот же контракт ответа, тот же request-id
response · 0 скрытых хопов
0 скрытых хопов между клиентом и моделью любую стадию перекрывает kill-switch / policy-as-code / SIEM
§02 / DLP-движок
Восемь слоёв инспекции. Плюс multimodal, запускаются конкурентно.
Слои 0–7 и multimodal составляют 23 scanner-модуля на диске. Активные стадии идут параллельно (asyncio.gather), поэтому запрос проходит их за один общий проход, а не за сумму слоёв. Цвет метки кодирует слой в дисперсионной гамме кристалла.
вход Запрос от клиента
L0
Prompt injection · multi-signal Инъекции, гомоглифы, prefix-injection, payload-split
быстрый по умолчанию
L1
Regex · секреты и PII · Go regex Ключи, карты по Luhn, ИНН · СНИЛС · паспорт с контрольными суммами
мгновенно по умолчанию
L2
Presidio NER · spaCy PII в свободном тексте: имена, адреса, телефоны
быстрый по умолчанию
L3
ML-классификаторы · LLM Guard · CPU Injection, toxicity, secrets, invisible-text по смыслу
быстрый opt-in
L4
Corporate · canary · словарь + маркеры Имена проектов, внутренние домены и IP, canary-токены
мгновенно по умолчанию
L5
Semantic guard · семантическая близость Запрещённые темы и намерения по смыслу
быстрый opt-in
L6
Hallucination · после ответа Фабрикованные цитаты и DOI, противоречия ответа
post-call opt-in
L7
Copyright · после ответа Фингерпринты, GPL / AGPL / SPDX-заголовки в выдаче
post-call opt-in
MM
Multimodal · OCR · pytesseract → слои 0–7 Изображения из сообщений → OCR → повторный DLP
OCR · pre opt-in
выход Очищенный запрос в модель
механизмы поверх слоёв
NFKC-нормализация и снятие zero-width идут перед сканом: обход невидимыми символами не срабатывает.
ｓｋ-ｌｉｖｅ → sk-live → скан Модель не станет exfil-каналом: повтор плейсхолдера обратно в ответе перехватывается.
 → заблокировано Каждый вердикт превращается в действие. Graded-trust не понижает injection до маскировки.
BLOCK · MASK · WARN · LOG Отказ DLP закрывает облачный запрос; для локальных открывает: данные и так в контуре.
облако: closed · локальные: open Набор из коробки плюс marketplace-паки. DLP-профили настраиваются пер-тенантно.
из коробки + marketplace §03 / Сравнение подходов
Ни один метод не ловит всё. Поэтому мы не выбираем один.
У каждого способа детекции своя зона силы и свой провал: два качественных профиля показывают, где метод быстр, а где глубок. Мы показываем оба, а не продаём один как серебряную пулю.
Regex L1
скорость
глубина
детерминизм, мгновенный скан, ноль дрейфа слеп к перефразу, ломается на обфускации
NER L2
скорость
глубина
ловит PII в свободном тексте, языко-осознан пропускает редкие форматы, даёт ложные срабатывания
ML-классификаторы L3
скорость
глубина
улавливают намерение по смыслу непрозрачны, дрейф, требуют калибровки порогов
LLM-судья scanner
скорость
глубина
контекст и рассуждение, лучший recall на сложных атаках латентность и цена, недетерминизм, не для realtime
Prizma слои конкурентно
скорость
глубина
Запускает слои конкурентно и комбинирует вердикты: regex ловит точное, NER и ML добирают смысловое, LLM-судья работает вне основного пути запроса, в сканере.
весь конвейер · миллисекунды на запрос · asyncio.gather, не сумма слоёв
Нужна максимальная ширина провайдеров без DLP: возьмите LiteLLM, он может остаться транспортом за Prizma. Подробнее в FAQ
§04 / Kill-switch L0–L4
Пять уровней остановки. От всего трафика до одного агента.
Область действия вложена: внешний уровень гасит весь трафик, каждый внутренний сужает зону. Можно погасить всё разом или точечно одну модель, одного пользователя, один агент, не задев остальное.
L0 Глобальный стоп
стопвесь AI-трафик организации работаетничего, полная остановка
L1 Пользователь
стопзапросы одного пользователя работаетостальные пользователи
L2 Модель
стоподна модель для всех работаетпрочие модели доступны
L3 Облачный egress локальные модели продолжают работать
стопвыход в облачные модели работаетлокальные модели работают
L4 Агент
стоподин автономный агент работаетпрочие агенты не затронуты
останавливает мгновенно через Redis · источник истины в PostgreSQL · полный HMAC-chained audit-trail
§05 / RAG-файрвол
Каждый чанк это данные. Не команда для модели.
Извлечённый фрагмент это самый частый вектор indirect injection. Файрвол инспектирует каждый чанк отдельно и в контекст пускает только проверенное. Заражённый чанк понижается и не доходит до модели.
хранилище
векторная БД org_id-префильтр на входе
инспекция /v1/rag/inspect · inline rag_context
inspect() пер-чанк · конкурентно
demotion injection в doc-фрейм
EchoLeak exfil-разметку блок
unicode decode-and-rescan
DLP секреты в чанке
provenance grounding · источник
org_id кросс-тенант фильтр
spotlight-контекст
в контексте
§06 / Агенты и supply-chain
Автономный агент под контролем. Как и модель, которую он запускает.
Агент действует сам, поэтому каждый шаг трассируется, аргументы сканируются, а чувствительное действие ждёт человека. Сама модель приезжает файлом, который проверяется до загрузки, без распаковки.
Runtime · прогон агента
agent
реестр · привязка к api-key tool-call
аргументы вызова инструмента DLP · args
скан и маскирование аргументов HITL ожидает
ожидает подтверждения выполнение
вызов уходит к инструменту AIRQ 0.72
dual-control анти-само-аппрув
авто-kill L4 при аномалии
бюджет per-run · RPM
Supply-chain · артефакт модели
артефакт модели
picklePyTorch-zipsafetensorsGGUFONNXKeras
prizma-scan без распаковки · air-gapped · pickletools opcode-walk
вердикт allow / block
AIBOM CycloneDX-ML
Zip-Slip · Keras-Lambda · CVE-2025-10155/56/57
Готовы?
Весь AI-трафик под вашим контролем
Self-hosted LLM Firewall в вашем периметре. Одна строка base_url, и ни один промпт не уходит напрямую.
sales@hackadvisor.io NDA по требованию · ответ в один рабочий день