跳到主要内容
Firewall · 为 LLM

LLM Firewall 就在你的边界内

全公司 AI 流量尽在掌控,同时不拖慢落地: DLP 双向检查、kill-switch、可证明的审计。

§01 / Drop-in

一行配置。所有模型都在网关之后。

只需把 base_url 改为网关地址。SDK、客户端代码与模型保持不变,网关密钥取代厂商密钥,流量经由 Prizma 检查。

from openai import OpenAI

client = OpenAI(
    base_url="https://prizma.acme.internal/v1",  # 网关替代 api.openai.com
    api_key=PRIZMA_TOKEN,                          # 网关密钥,而非厂商密钥
)
resp = client.chat.completions.create(model="gpt-5", messages=msgs)
8
DLP · pre 与 post
L0–L7 + multimodal
L0–L4
kill-switch
瞬时停止
在边界内
数据不离开边界
self-hosted · air-gap
~2 分钟
make quickstart
从零到可用网关
§03 / 流量示意

每个请求同一条路径

开发者、agents 与模型之间只有一个网关。DLP 执行两次:发送到模型之前与收到回复之后。任何阶段都可用 kill-switch 关闭,或用策略改写。

§04 / 路由

按可用性、成本与延迟路由

对客户端而言契约始终统一,其下网关会依当前负载自行选择提供方与模型。

可用性

失效的路由不会拖垮请求:retry 与 fallback 沿链路一路回退,直至你边界内的本地模型。

retry · fallback 直至 Ollama / vLLM

成本

两级语义缓存直接应答重复请求,无需访问提供方,也不再重复消耗 token。

L1 SHA-256 · L2 cosine

延迟

对每个提供方实时统计 rolling p95,Thompson-Sampling 将路由切换到最快的应答。

latency-aware · Thompson-Sampling
§05 / 三大能力

检查、管控、证明

检查

在输入与输出双向识别,远不止密钥。

  • DLP 0–7 层 + multimodal(OCR)
  • pre-call 与 post-call,streaming
  • 密钥、PII、财务数据 · 毫秒级
DLP 层

管控

由策略决定什么发往模型:在调用之前,而非之后。

  • BLOCK / MASK / WARN 策略,RBAC
  • 预算与 cost attribution
  • kill-switch L0–L4 · 瞬时
Kill-switch

证明

每个请求都留下经得起审计的记录。

  • HMAC-chained 审计,tamper-evident
  • 按 CEF 导出至 SIEM
  • evidence packs 152-FZ / GDPR / SOC2
流水线
§06 / DLP 引擎 / L1 · regex · luhn · INN

Regex、NER 与代码检测器:输入与输出双向

带校验器的 Regex(银行卡用 Luhn,INN 用 MOD-11)、用于人名与机构名的 Presidio NER,以及独立的代码检测器: 源码中的 AWS 密钥、GPL/AGPL 头、内部 API 域名都不会发往模型。三种模式:占位符 [CARD_1]、格式保留替换(生成合法的合成 INN 与通过 Luhn 校验的银行卡号),或完全脱敏。下方即为八层中的第一层,直接在浏览器中运行。 手动切换模式即可看到差异。

prompt · 原始 输入
prompt · 已清洗 等待中
实体
0
扫描
· ms
判定
·
L0 注入
L1 Regex + Luhn
L2 NER
L3 LLM Guard
L4 企业数据
L5 语义
L6 幻觉
L7 版权
§07 / Self-hosted

数据不离开边界

并非 SaaS。产品运行在你的边界内、你掌控的硬件上:纳入你的 SIEM、密钥存储与 SSO。数分钟即可部署,可在 air-gap 中运行。

部署
§09 / 准备好了吗?

全部 AI 流量尽在你的掌控

部署在你边界内的 self-hosted LLM Firewall。仅需一行 base_url,任何 prompt 都不会直接外流。

sales@hackadvisor.io 可签署 NDA · 一个工作日内回复