LiteLLM

すべてのLLM APIをOpenAIフォーマットで呼び出す [Bedrock、Huggingface、VertexAI、TogetherAI、Azure、OpenAI、Groq など]

機能

• プロバイダーのcompletion、embedding、image_generationエンドポイントへの入力を変換
• 一貫した出力、テキスト応答は常に['choices'][0]['message']['content']で利用可能
• 複数のデプロイメント間（Azure/OpenAIなど）での再試行/フォールバックロジック - Router
• プロジェクト、APIキー、モデルごとの予算とレート制限の設定 LiteLLM Proxyサーバー（LLMゲートウェイ）