ローカルで、ワンクリックで動作します。
- バージョン
- 1.98.0
- スター
- ★ 5.7万
- ライセンス
- MIT
- 作者
- Berrie AI, Inc
LiteLLM について
すべてのLLM APIをOpenAIフォーマットで呼び出す [Bedrock、Huggingface、VertexAI、TogetherAI、Azure、OpenAI、Groq など]
機能
- プロバイダーの
completion、embedding、image_generationエンドポイントへの入力を変換 - 一貫した出力、テキスト応答は常に
['choices'][0]['message']['content']で利用可能 - 複数のデプロイメント間（Azure/OpenAIなど）での再試行/フォールバックロジック - Router
- プロジェクト、APIキー、モデルごとの予算とレート制限の設定 LiteLLM Proxyサーバー（LLMゲートウェイ）