LiteLLM

استدعِ جميع واجهات برمجة التطبيقات LLM باستخدام تنسيق OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq وغيرها]

المميزات

• ترجمة المدخلات إلى نقاط نهاية completion وembedding وimage_generation الخاصة بالمزود
• مخرجات متناسقة، ستكون الاستجابات النصية متاحة دائمًا في ['choices'][0]['message']['content']
• منطق إعادة المحاولة/الرجوع عبر عمليات نشر متعددة (مثل Azure/OpenAI) - Router
• تعيين الميزانيات وحدود المعدلات لكل مشروع ومفتاح API ونموذج خادم LiteLLM Proxy (بوابة LLM)