Se ejecuta localmente, en un clic.
- Versión
- 1.98.0
- Estrellas
- ★ 57,1 mil
- Licencia
- MIT
- Autor
- Berrie AI, Inc
- Enlaces
- Sitio web Código fuente
Acerca de LiteLLM
Llama a todas las APIs de LLM usando el formato OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq etc.]
Características
- Traduce entradas a los endpoints de
completion,embeddingyimage_generationdel proveedor - Salida consistente, las respuestas de texto siempre estarán disponibles en
['choices'][0]['message']['content'] - Lógica de reintento/respaldo en múltiples implementaciones (por ejemplo, Azure/OpenAI) - Router
- Establecer presupuestos y límites de tasa por proyecto, clave api, modelo Servidor Proxy LiteLLM (Gateway LLM)