LiteLLM

خادم وكيل للاتصال بأكثر من 100 نموذج لغوي كبير بتنسيق OpenAI

★ 37.2 ألف AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.81.12-stable.2 ·

حول LiteLLM

استدعِ جميع واجهات برمجة التطبيقات LLM باستخدام تنسيق OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq وغيرها]

preview

المميزات

  • ترجمة المدخلات إلى نقاط نهاية completion وembedding وimage_generation الخاصة بالمزود
  • مخرجات متناسقة، ستكون الاستجابات النصية متاحة دائمًا في ['choices'][0]['message']['content']
  • منطق إعادة المحاولة/الرجوع عبر عمليات نشر متعددة (مثل Azure/OpenAI) - Router
  • تعيين الميزانيات وحدود المعدلات لكل مشروع ومفتاح API ونموذج خادم LiteLLM Proxy (بوابة LLM)

بديل لـ

ذات صلة