LiteLLM

Server Proxy per chiamare più di 100 LLM nel formato OpenAI

★ 21.000 AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 ·

Informazioni su LiteLLM

Chiama tutte le API LLM usando il formato OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq ecc.]

preview

Caratteristiche

  • Traduce gli input negli endpoint completion, embedding e image_generation del provider
  • Output consistente, le risposte testuali saranno sempre disponibili in ['choices'][0]['message']['content']
  • Logica di retry/fallback tra più deployment (es. Azure/OpenAI) - Router
  • Imposta budget e limiti di velocità per progetto, chiave api, modello Server Proxy LiteLLM (Gateway LLM)

Un'alternativa a

Correlati