LiteLLM

Servidor Proxy para chamar 100+ LLMs no formato OpenAI

★ 19,9 mil AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 ·

Sobre LiteLLM

Chame todas as APIs de LLM usando o formato OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq etc.]

preview


Funcionalidades

  • Traduz entradas para endpoints de completion, embedding e image_generation do provedor
  • Saída consistente, respostas de texto estarão sempre disponíveis em ['choices'][0]['message']['content']
  • Lógica de tentativa/fallback em várias implantações (ex: Azure/OpenAI) - Router
  • Define Orçamentos & Limites de taxa por projeto, chave de api, modelo Servidor Proxy LiteLLM (Gateway LLM)