LiteLLM

기능

• 제공자의 completion, embedding, image_generation 엔드포인트로 입력을 변환
• 일관된 출력, 텍스트 응답은 항상 ['choices'][0]['message']['content']에서 사용 가능
• 여러 배포(예: Azure/OpenAI)에 걸친 재시도/대체 로직 - 라우터
• 프로젝트, API 키, 모델별 예산 및 속도 제한 설정 LiteLLM 프록시 서버 (LLM 게이트웨이)