LiteLLM

使用OpenAI格式调用所有LLM API [Bedrock、Huggingface、VertexAI、TogetherAI、Azure、OpenAI、Groq等]

功能特点

• 将输入转换到提供商的completion、embedding和image_generation端点
• 一致的输出，文本响应将始终位于['choices'][0]['message']['content']
• 跨多个部署（如Azure/OpenAI）的重试/故障转移逻辑 - 路由器
• 为每个项目、API密钥、模型设置预算和速率限制 LiteLLM代理服务器（LLM网关）