LiteLLM

100개 이상의 LLM을 OpenAI 형식으로 호출하기 위한 프록시 서버

★ 2만 AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 ·

LiteLLM 에 대해

preview

기능

  • 제공자의 completion, embedding, image_generation 엔드포인트로 입력을 변환
  • 일관된 출력, 텍스트 응답은 항상 ['choices'][0]['message']['content']에서 사용 가능
  • 여러 배포(예: Azure/OpenAI)에 걸친 재시도/대체 로직 - 라우터
  • 프로젝트, API 키, 모델별 예산 및 속도 제한 설정 LiteLLM 프록시 서버 (LLM 게이트웨이)

대체제

관련