管理痛点
上游 Key 直接暴露
研发人员直接使用上游 API Key,泄露风险高,无法按人核算成本。
超额消费难控制
缺乏额度预警与硬性上限,个别应用异常调用导致费用失控。
权限粒度不足
无法限制特定用户只能访问指定模型或分组,合规审计困难。
令牌管理功能
额度限制
模型白名单
分组倍率
有效期
速率限制
审计日志
一键吊销
用户分组
- 为每位开发者或每个应用生成独立
sk-令牌,与上游 Key 隔离 - 设置剩余额度(美元/Token),耗尽自动拒绝请求并告警
- 绑定可用模型列表与令牌分组,VIP 用户可享优惠倍率
- 完整请求审计:谁、何时、用了哪个模型、消耗多少 Token
典型管控策略
- 研发测试组:低额度 + GPT-3.5/DeepSeek 模型,控制测试成本
- 产品演示组:中等额度 + 全模型访问,支持 Demo 场景
- 生产应用:高额度 + 指定模型 + IP 白名单,保障稳定性
- 外部客户:按套餐分发令牌,配合计费系统实现 SaaS 化运营