LiteLLM

Llama a todas las APIs de LLM usando el formato OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq etc.]

Características

• Traduce entradas a los endpoints de completion, embedding y image_generation del proveedor
• Salida consistente, las respuestas de texto siempre estarán disponibles en ['choices'][0]['message']['content']
• Lógica de reintento/respaldo en múltiples implementaciones (por ejemplo, Azure/OpenAI) - Router
• Establecer presupuestos y límites de tasa por proyecto, clave api, modelo Servidor Proxy LiteLLM (Gateway LLM)