LiteLLM के बारे में
सभी LLM APIs को OpenAI फॉर्मेट का उपयोग करके कॉल करें [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq आदि]
विशेषताएं
- प्रदाता के
completion
,embedding
, औरimage_generation
एंडपॉइंट्स के लिए इनपुट का अनुवाद करें - निरंतर आउटपुट, टेक्स्ट प्रतिक्रियाएं हमेशा
['choices'][0]['message']['content']
पर उपलब्ध होंगी - कई डिप्लॉयमेंट्स (जैसे Azure/OpenAI) में पुनः प्रयास/फॉलबैक लॉजिक - राउटर
- प्रति प्रोजेक्ट, एपीआई कुंजी, मॉडल के लिए बजट और दर सीमाएं सेट करें LiteLLM प्रॉक्सी सर्वर (LLM गेटवे)