LiteLLM

代理服务器用于以OpenAI格式调用100多个LLM模型

★ 2万 AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 ·

关于 LiteLLM

使用OpenAI格式调用所有LLM API [Bedrock、Huggingface、VertexAI、TogetherAI、Azure、OpenAI、Groq等]

preview

功能特点

  • 将输入转换到提供商的completion、embedding和image_generation端点
  • 一致的输出，文本响应将始终位于['choices'][0]['message']['content']
  • 跨多个部署（如Azure/OpenAI）的重试/故障转移逻辑 - 路由器
  • 为每个项目、API密钥、模型设置预算和速率限制 LiteLLM代理服务器（LLM网关）

一个替代方案

相关