🤖 LiteLLM

Proxy-Server zum Aufruf von 100+ LLMs im OpenAI-Format

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 · Updated 2 weeks ago

Über LiteLLM

Rufen Sie alle LLM APIs im OpenAI-Format auf [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq etc.]

preview

Übersetzt Eingaben in die completion, embedding und image_generation Endpunkte des Anbieters
Konsistente Ausgabe, Textantworten sind immer unter ['choices'][0]['message']['content'] verfügbar
Wiederholungs-/Fallback-Logik über mehrere Deployments (z.B. Azure/OpenAI) - Router
Festlegen von Budgets & Ratelimits pro Projekt, API-Schlüssel, Modell LiteLLM Proxy Server (LLM Gateway)

Umgebungsvariablen anzeigen

PROJECT: litellm
DOMAIN: stack.localhost
LITELLM_MASTER_KEY: "sk-1234" # Your master key for the proxy server. Can use this to send /chat/completion requests etc
LITELLM_SALT_KEY: "sk-XXXXXXXX" # Can NOT CHANGE THIS ONCE SET - It is used to encrypt/decrypt credentials stored in DB. If value of 'LITELLM_SALT_KEY' changes your models cannot be retrieved from DB
OPENAI_API_KEY: ""
OPENAI_API_BASE: ""
COHERE_API_KEY: ""
OR_SITE_URL: ""
OR_APP_NAME: "LiteLLM Example app"
OR_API_KEY: ""
AZURE_API_BASE: ""
AZURE_API_VERSION: ""
AZURE_API_KEY: ""
REPLICATE_API_KEY: ""
REPLICATE_API_TOKEN: ""
ANTHROPIC_API_KEY: ""
INFISICAL_TOKEN: ""