LiteLLM

Server Proxy per chiamare più di 100 LLM nel formato OpenAI

Un'alternativa a

Runs locally, in one click.

Informazioni su LiteLLM

Chiama tutte le API LLM usando il formato OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq ecc.]

preview

Traduce gli input negli endpoint completion, embedding e image_generation del provider
Output consistente, le risposte testuali saranno sempre disponibili in ['choices'][0]['message']['content']
Logica di retry/fallback tra più deployment (es. Azure/OpenAI) - Router
Imposta budget e limiti di velocità per progetto, chiave api, modello Server Proxy LiteLLM (Gateway LLM)