LiteLLM（开源 LLM 统一网关）
官方介绍
LiteLLM 是 BerriAI 开源的 AI 网关（MIT 许可），也是目前使用最广泛的开源 LLM 网关之一：用一个统一的 OpenAI 格式接口调用 100+ 家大模型供应商（OpenAI、Anthropic、Vertex AI、Bedrock 等），提供 Python SDK 与可自部署的 LiteLLM Proxy 网关两种形态。Hindsight 等 Agent 记忆系统的模型接入层即基于它。
核心功能
| 功能 | 说明 |
|---|---|
| 统一接口 | 同一个 completion() 接口调用所有供应商，输出格式一致，无需为每家重学 API |
| 代理网关 | LiteLLM Proxy 为 OpenAI 兼容网关，提供鉴权钩子、日志、成本追踪与限流 |
| 虚拟密钥与预算 | 按用户或团队发放虚拟密钥，设定预算与用量限额，记录每次请求成本 |
| 重试与回退 | 内置 retry 与 fallback，可跨供应商回退，保障可用性 |
| 工具与智能体 | 一个网关同时接入模型、MCP 工具与 A2A 智能体 |
使用说明
- SDK 方式：pip install litellm 后在代码里调用 litellm.completion(model=“供应商/模型名”)，换供应商只需改 model 前缀
- 网关方式：uv tool install “litellm[proxy]” 安装后用 litellm —model 模型名 启动本地代理，应用统一请求网关地址；也提供 Docker 镜像
- 接自建模型：任何 OpenAI 兼容端点（如百炼、OpenRouter、Ollama）都能直接挂到网关上