LiteLLM

Proxy-Server zum Aufruf von 100+ LLMs im OpenAI-Format

★ 30.300 AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 ·

Über LiteLLM

Rufen Sie alle LLM APIs im OpenAI-Format auf [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq etc.]

preview

Funktionen

  • Übersetzt Eingaben in die completion, embedding und image_generation Endpunkte des Anbieters
  • Konsistente Ausgabe, Textantworten sind immer unter ['choices'][0]['message']['content'] verfügbar
  • Wiederholungs-/Fallback-Logik über mehrere Deployments (z.B. Azure/OpenAI) - Router
  • Festlegen von Budgets & Ratelimits pro Projekt, API-Schlüssel, Modell LiteLLM Proxy Server (LLM Gateway)

Eine Alternative zu

Ähnliche