LiteLLM

Serveur Proxy pour appeler plus de 100 LLMs au format OpenAI

★ 19,9 k AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 ·

À propos de LiteLLM

Appelez toutes les API LLM en utilisant le format OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq etc.]

preview

Fonctionnalités

  • Traduisez les entrées vers les endpoints completion, embedding et image_generation du fournisseur
  • Sortie cohérente, les réponses textuelles seront toujours disponibles à ['choices'][0]['message']['content']
  • Logique de réessai/repli sur plusieurs déploiements (par ex. Azure/OpenAI) - Router
  • Définissez des budgets et des limites de taux par projet, clé API, modèle Serveur Proxy LiteLLM (Passerelle LLM)

Une alternative à

Autres alternatives