LiteLLM के बारे में
सभी LLM APIs को OpenAI फॉर्मेट का उपयोग करके कॉल करें [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq आदि]
विशेषताएं
- प्रदाता के
completion,embedding, औरimage_generationएंडपॉइंट्स के लिए इनपुट का अनुवाद करें - निरंतर आउटपुट, टेक्स्ट प्रतिक्रियाएं हमेशा
['choices'][0]['message']['content']पर उपलब्ध होंगी - कई डिप्लॉयमेंट्स (जैसे Azure/OpenAI) में पुनः प्रयास/फॉलबैक लॉजिक - राउटर
- प्रति प्रोजेक्ट, एपीआई कुंजी, मॉडल के लिए बजट और दर सीमाएं सेट करें LiteLLM प्रॉक्सी सर्वर (LLM गेटवे)
Environment variables
View environment variables
- PROJECT
- litellm
- DOMAIN
- stack.localhost
- LITELLM_MASTER_KEY
- "sk-1234" # Your master key for the proxy server. Can use this to send /chat/completion requests etc
- LITELLM_SALT_KEY
- "sk-XXXXXXXX" # Can NOT CHANGE THIS ONCE SET - It is used to encrypt/decrypt credentials stored in DB. If value of 'LITELLM_SALT_KEY' changes your models cannot be retrieved from DB
- OPENAI_API_KEY
- ""
- OPENAI_API_BASE
- ""
- COHERE_API_KEY
- ""
- OR_SITE_URL
- ""
- OR_APP_NAME
- "LiteLLM Example app"
- OR_API_KEY
- ""
- AZURE_API_BASE
- ""
- AZURE_API_VERSION
- ""
- AZURE_API_KEY
- ""
- REPLICATE_API_KEY
- ""
- REPLICATE_API_TOKEN
- ""
- ANTHROPIC_API_KEY
- ""
- INFISICAL_TOKEN
- ""