LiteLLM 에 대해
기능
- 제공자의
completion,embedding,image_generation엔드포인트로 입력을 변환 - 일관된 출력, 텍스트 응답은 항상
['choices'][0]['message']['content']에서 사용 가능 - 여러 배포(예: Azure/OpenAI)에 걸친 재시도/대체 로직 - 라우터
- 프로젝트, API 키, 모델별 예산 및 속도 제한 설정 LiteLLM 프록시 서버 (LLM 게이트웨이)
환경 변수
환경 변수 보기
- PROJECT
- litellm
- DOMAIN
- stack.localhost
- LITELLM_MASTER_KEY
- "sk-1234" # Your master key for the proxy server. Can use this to send /chat/completion requests etc
- LITELLM_SALT_KEY
- "sk-XXXXXXXX" # Can NOT CHANGE THIS ONCE SET - It is used to encrypt/decrypt credentials stored in DB. If value of 'LITELLM_SALT_KEY' changes your models cannot be retrieved from DB
- OPENAI_API_KEY
- ""
- OPENAI_API_BASE
- ""
- COHERE_API_KEY
- ""
- OR_SITE_URL
- ""
- OR_APP_NAME
- "LiteLLM Example app"
- OR_API_KEY
- ""
- AZURE_API_BASE
- ""
- AZURE_API_VERSION
- ""
- AZURE_API_KEY
- ""
- REPLICATE_API_KEY
- ""
- REPLICATE_API_TOKEN
- ""
- ANTHROPIC_API_KEY
- ""
- INFISICAL_TOKEN
- ""