§01 / Drop-in
一行配置。所有模型都在网关之后。
只需把 base_url 改为网关地址。SDK、客户端代码与模型保持不变,网关密钥取代厂商密钥,流量经由 Prizma 检查。
from openai import OpenAI
client = OpenAI(
base_url="https://prizma.acme.internal/v1", # 网关替代 api.openai.com
api_key=PRIZMA_TOKEN, # 网关密钥,而非厂商密钥
)
resp = client.chat.completions.create(model="gpt-5", messages=msgs) from anthropic import Anthropic
client = Anthropic(
base_url="https://prizma.acme.internal", # 流量经由 Prizma
api_key=PRIZMA_TOKEN, # 网关密钥,而非厂商密钥
)
msg = client.messages.create(model="claude-sonnet-4.6", messages=msgs) # 一个 env,整个 coding agent 都走网关
export ANTHROPIC_BASE_URL="https://prizma.acme.internal"
export ANTHROPIC_API_KEY="$PRIZMA_TOKEN" # 网关密钥,而非厂商密钥
claude # 请求在输入与输出双向受检 # 同一调用,网关域名替代 api.openai.com
curl https://prizma.acme.internal/v1/chat/completions \
-H "Authorization: Bearer $PRIZMA_TOKEN" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-5", "messages": [{"role": "user", "content": "..."}]}' 8 层
DLP · pre 与 post
L0–L7 + multimodal
L0–L4
kill-switch
瞬时停止
在边界内
数据不离开边界
self-hosted · air-gap
~2 分钟
make quickstart
从零到可用网关
§03 / 流量示意
每个请求同一条路径
开发者、agents 与模型之间只有一个网关。DLP 执行两次:发送到模型之前与收到回复之后。任何阶段都可用 kill-switch 关闭,或用策略改写。
§04 / 路由
按可用性、成本与延迟路由
对客户端而言契约始终统一,其下网关会依当前负载自行选择提供方与模型。
可用性
失效的路由不会拖垮请求:retry 与 fallback 沿链路一路回退,直至你边界内的本地模型。
retry · fallback 直至 Ollama / vLLM
成本
两级语义缓存直接应答重复请求,无需访问提供方,也不再重复消耗 token。
L1 SHA-256 · L2 cosine
延迟
对每个提供方实时统计 rolling p95,Thompson-Sampling 将路由切换到最快的应答。
latency-aware · Thompson-Sampling
§05 / 三大能力
检查、管控、证明
检查
在输入与输出双向识别,远不止密钥。
- DLP 0–7 层 + multimodal(OCR)
- pre-call 与 post-call,streaming
- 密钥、PII、财务数据 · 毫秒级
管控
由策略决定什么发往模型:在调用之前,而非之后。
- BLOCK / MASK / WARN 策略,RBAC
- 预算与 cost attribution
- kill-switch L0–L4 · 瞬时
证明
每个请求都留下经得起审计的记录。
- HMAC-chained 审计,tamper-evident
- 按 CEF 导出至 SIEM
- evidence packs 152-FZ / GDPR / SOC2
§06 / DLP 引擎 / L1 · regex · luhn · INN
Regex、NER 与代码检测器:输入与输出双向
带校验器的 Regex(银行卡用 Luhn,INN 用 MOD-11)、用于人名与机构名的 Presidio NER,以及独立的代码检测器: 源码中的 AWS 密钥、GPL/AGPL 头、内部 API 域名都不会发往模型。三种模式:占位符 [CARD_1]、格式保留替换(生成合法的合成 INN 与通过 Luhn 校验的银行卡号),或完全脱敏。下方即为八层中的第一层,直接在浏览器中运行。 手动切换模式即可看到差异。
prompt · 原始 输入
prompt · 已清洗 等待中
实体
0
扫描
· ms
判定
·
L0 注入
L1 Regex + Luhn
L2 NER
L3 LLM Guard
L4 企业数据
L5 语义
L6 幻觉
L7 版权
§09 / 准备好了吗?
全部 AI 流量尽在你的掌控
部署在你边界内的 self-hosted LLM Firewall。仅需一行 base_url,任何 prompt 都不会直接外流。
sales@hackadvisor.io 可签署 NDA · 一个工作日内回复