Informazioni su LiteLLM
Chiama tutte le API LLM usando il formato OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq ecc.]
Caratteristiche
- Traduce gli input negli endpoint
completion
,embedding
eimage_generation
del provider - Output consistente, le risposte testuali saranno sempre disponibili in
['choices'][0]['message']['content']
- Logica di retry/fallback tra più deployment (es. Azure/OpenAI) - Router
- Imposta budget e limiti di velocità per progetto, chiave api, modello Server Proxy LiteLLM (Gateway LLM)