liteLLM

LiteLLM 网站详细介绍

LiteLLM（网站：https://litellm.ai）是一个开源的 LLM（大型语言模型）网关工具，旨在简化开发者对 100 多个 LLM 模型的访问、管理和监控。它将各种 LLM 提供商的 API 标准化为 OpenAI 兼容格式，帮助平台团队高效地为开发者提供 LLM 服务，同时处理成本追踪、负载均衡和故障转移等复杂问题。该工具特别适合企业级应用，已被 Netflix、Lemonade 和 RocketMoney 等公司采用。

主要目的

LiteLLM 的核心目的是作为代理层（Proxy），统一管理多个 LLM 提供商的交互，减少操作复杂性。它允许平台团队快速部署 LLM 访问权限，支持从新模型发布当天（Day 0）即可使用，而无需手动处理输入/输出转换或多提供商集成。具体益处包括：

• 节省开发时间：Netflix 工程师表示，它能节省每个新模型发布时数小时的工作，以及整体数月的人力投入。
• 标准化日志和认证：RocketMoney 的工程师强调，它统一了日志记录、OpenAI API 和认证机制，便于快速适应需求变化。
• 简化多模型管理：Lemonade 的架构师称赞它在结合 Langfuse 等工具时，极大简化了多 LLM 模型的管理复杂性。

LiteLLM 已处理超过 10 亿次请求，Docker 拉取量达数百万次，由 425+ 贡献者维护， uptime 高达 80%。

主要功能与特性

LiteLLM 提供全面的功能集，涵盖访问控制、监控和优化。以下是其关键功能总结（基于开源版本），以列表形式呈现：

• 模型访问与集成
  • 支持 100+ LLM 提供商：包括 Azure、Gemini、Bedrock、OpenAI 和 Anthropic 等。示例：通过单一 API 调用访问多个提供商的模型，无需切换代码。
• 负载均衡与故障转移
  • LLM Fallbacks & Load Balancing：自动在模型或提供商间切换（如主模型失败时 fallback 到备用），并分布请求以优化性能。
• 成本与预算管理
  • Spend Tracking & Budgets/Rate Limits：实时追踪 LLM 使用成本，支持 RPM/TPM（请求/令牌每分钟）限速和团队预算控制。示例：为不同团队设置虚拟密钥和独立预算。
• 监控与日志
  • LLM Observability & s3 Logging：集成 Langfuse、Arize Phoenix、Langsmith 和 OTEL 等工具，支持 S3 存储日志，便于分析和调试。
• 安全与合规
  • Guardrails & Pass-Through Endpoints：内置 LLM 防护栏（防止有害输出），并支持直接透传请求到底层提供商。
• 高级 API 支持
  • Batches API & Prompt Management：支持批量请求处理和提示管理，优化高吞吐场景。
• 组织管理
  • Virtual Keys, Budgets, Teams：为用户/团队生成虚拟密钥，实现细粒度访问控制和审计。

支持的模型与提供商

LiteLLM 支持超过 100 个 LLM 提供商和模型，包括但不限于：

• OpenAI 系列：GPT-4、GPT-3.5 等。
• Anthropic：Claude 模型。
• Google：Gemini 系列。
• AWS：Bedrock 上的多种模型。
• Azure：OpenAI 兼容模型。

定价与部署

LiteLLM 采用开源 + 企业版模式，便于从免费起步扩展到生产环境：

开源版已足够强大，企业版针对高可用性和合规需求优化。