LiteLLM

100以上のLLMをOpenAIフォーマットで呼び出すためのプロキシサーバー

★ 2万 AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 ·

LiteLLM について

すべてのLLM APIをOpenAIフォーマットで呼び出す [Bedrock、Huggingface、VertexAI、TogetherAI、Azure、OpenAI、Groq など]

preview

機能

  • プロバイダーのcompletion、embedding、image_generationエンドポイントへの入力を変換
  • 一貫した出力、テキスト応答は常に['choices'][0]['message']['content']で利用可能
  • 複数のデプロイメント間（Azure/OpenAIなど）での再試行/フォールバックロジック - Router
  • プロジェクト、APIキー、モデルごとの予算とレート制限の設定 LiteLLM Proxyサーバー（LLMゲートウェイ）

代替

関連