LiteLLM

100+ बड़ी भाषा मॉडल को OpenAI फॉर्मैट में कॉल करने के लिए प्रॉक्सी सर्वर

★ 19.9 हज़ार AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 ·

LiteLLM के बारे में

सभी LLM APIs को OpenAI फॉर्मेट का उपयोग करके कॉल करें [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq आदि]

preview


विशेषताएं

  • प्रदाता के completion, embedding, और image_generation एंडपॉइंट्स के लिए इनपुट का अनुवाद करें
  • निरंतर आउटपुट, टेक्स्ट प्रतिक्रियाएं हमेशा ['choices'][0]['message']['content'] पर उपलब्ध होंगी
  • कई डिप्लॉयमेंट्स (जैसे Azure/OpenAI) में पुनः प्रयास/फॉलबैक लॉजिक - राउटर
  • प्रति प्रोजेक्ट, एपीआई कुंजी, मॉडल के लिए बजट और दर सीमाएं सेट करें LiteLLM प्रॉक्सी सर्वर (LLM गेटवे)