Перейти к содержанию
Firewall · для LLM

LLM Firewall внутри вашего периметра

Весь AI‑трафик компании под контролем, не замедляя внедрение: DLP на входе и выходе, kill‑switch, доказуемый аудит.

§01 / Drop-in

Одна строка конфига. Все модели за шлюзом.

Меняется только base_url на адрес шлюза. SDK, код клиента и модели остаются прежними, а ключ шлюза заменяет ключ вендора, и трафик идёт через инспекцию Prizma.

from openai import OpenAI

client = OpenAI(
    base_url="https://prizma.acme.internal/v1",  # шлюз вместо api.openai.com
    api_key=PRIZMA_TOKEN,                          # ключ шлюза, не ключ вендора
)
resp = client.chat.completions.create(model="gpt-5", messages=msgs)
8 слоёв
DLP · pre и post
L0–L7 + multimodal
L0–L4
kill-switch
останавливает мгновенно
в периметре
данные не покидают контур
self-hosted · air-gap
~2 мин
make quickstart
от нуля до рабочего шлюза
§03 / Схема потока

Один путь для каждого запроса

Один шлюз между разработчиками, агентами и моделями. DLP отрабатывает дважды: до отправки к модели и после ответа. Любую стадию можно отключить kill-switch'ем или переписать политикой.

§04 / Маршрутизация

Маршрутизация под доступность, стоимость и латентность

Контракт для клиента остаётся один, а под ним шлюз сам выбирает провайдера и модель под текущую нагрузку.

Доступность

Упавший маршрут не роняет запрос: retry и fallback ведут по цепочке вплоть до локальной модели в вашем периметре.

retry · fallback до Ollama / vLLM

Стоимость

Семантический кэш в два уровня отвечает на повтор, не обращаясь к провайдеру и не сжигая токены заново.

L1 SHA-256 · L2 cosine

Латентность

Живой rolling p95 по каждому провайдеру, а Thompson-Sampling переставляет маршрут на самый быстрый ответ.

latency-aware · Thompson-Sampling
§05 / Три возможности

Инспектировать, управлять, доказывать

Инспектировать

Видит больше, чем просто секреты, на входе и на выходе.

  • DLP-слои 0–7 + multimodal (OCR)
  • pre-call и post-call, streaming
  • секреты, PII, финданные · миллисекунды
Слои DLP

Управлять

Политикой решаете, что уходит в модель: до вызова, а не после.

  • политики BLOCK / MASK / WARN, RBAC
  • бюджеты и cost attribution
  • kill-switch L0–L4 · мгновенно
Kill-switch

Доказывать

Каждый запрос оставляет след, который выдержит аудит.

  • HMAC-chained аудит, tamper-evident
  • экспорт в SIEM по CEF
  • evidence packs 152-ФЗ / GDPR / SOC2
Пайплайн
§06 / DLP-движок / L1 · regex · luhn · ИНН

Regex, NER и детектор кода: на входе и на выходе

Regex с валидаторами (Luhn для карт, MOD-11 для ИНН), Presidio NER для имён и организаций, отдельный детектор кода: AWS-ключи в исходниках, GPL/AGPL-заголовки, внутренние API-домены не уходят к модели. Три режима: токены [CARD_1], формат-сохраняющая подмена (валидный синтетический ИНН и карта с корректным Luhn) или полная редакция. Ниже работает первый из восьми слоёв, прямо в браузере. Переключите режим вручную, чтобы увидеть разницу.

Промпт · сырой на входе
Промпт · очищенный ожидание
сущностей
0
скан
· мс
вердикт
·
L0 Инъекции
L1 Regex + Luhn
L2 NER
L3 LLM Guard
L4 Корп. данные
L5 Семантика
L6 Галлюцинации
L7 Копирайт
§07 / Self-hosted

Данные не покидают периметр

Не SaaS. Продукт живёт в вашем контуре, на железе, которое вы контролируете: под вашим SIEM, хранилищем секретов и SSO. Разворачивается за пару минут, работает в air-gap.

Развёртывание
§09 / Готовы?

Весь AI-трафик под вашим контролем

Self-hosted LLM Firewall в вашем периметре. Одна строка base_url, и ни один промпт не уходит напрямую.

sales@hackadvisor.io NDA по требованию · ответ в один рабочий день