LiteLLM

Proxy-Server zum Aufruf von 100+ LLMs im OpenAI-Format

Eine Alternative zu

Läuft lokal, mit einem Klick.

Über LiteLLM

Rufen Sie alle LLM APIs im OpenAI-Format auf [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq etc.]

preview

Übersetzt Eingaben in die completion, embedding und image_generation Endpunkte des Anbieters
Konsistente Ausgabe, Textantworten sind immer unter ['choices'][0]['message']['content'] verfügbar
Wiederholungs-/Fallback-Logik über mehrere Deployments (z.B. Azure/OpenAI) - Router
Festlegen von Budgets & Ratelimits pro Projekt, API-Schlüssel, Modell LiteLLM Proxy Server (LLM Gateway)