为什么需要 LLM 网关
接口格式不统一
OpenAI、Claude、Gemini 各有独立 API 格式，切换模型需重写调用代码。
Key 管理混乱
多个上游 Key 散落各处，无法统一限流、审计与成本核算。
单点故障风险
单一渠道限流或宕机直接影响业务，缺乏自动切换机制。
网关核心能力
OpenAI 兼容
Claude Messages
Gemini 格式
渠道负载均衡
自动重试
流式 SSE
缓存计费
Midjourney
- 统一
/v1/chat/completions入口，自动路由到对应上游渠道 - 支持 OpenAI ⇆ Claude ⇆ Gemini 格式互转，客户端无需感知差异
- 多渠道权重轮询、优先级与自动故障转移，保障高可用
- 实时记录请求日志、Token 用量与响应延迟，便于排查与优化
接入示例
配置网关地址后，使用标准 OpenAI SDK 即可调用任意已配置模型：
from openai import OpenAI
client = OpenAI(
base_url="https://your-gateway.example.com/v1",
api_key="sk-your-token"
)
response = client.chat.completions.create(
model="gpt-4o", # 或 claude-3-5-sonnet、deepseek-chat 等
messages=[{"role": "user", "content": "Hello"}]
)