Runs locally, in one click.
- Version
- 1.98.0
- Stars
- ★ 57,1 mil
- License
- MIT
- Author
- Berrie AI, Inc
- Links
- Homepage Source code
Sobre LiteLLM
Chame todas as APIs de LLM usando o formato OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq etc.]
Funcionalidades
- Traduz entradas para endpoints de
completion,embeddingeimage_generationdo provedor - Saída consistente, respostas de texto estarão sempre disponíveis em
['choices'][0]['message']['content'] - Lógica de tentativa/fallback em várias implantações (ex: Azure/OpenAI) - Router
- Define Orçamentos & Limites de taxa por projeto, chave de api, modelo Servidor Proxy LiteLLM (Gateway LLM)