LiteLLM

Прокси-сервер для вызова более 100 LLM в формате OpenAI

★ 19,9 тыс. AI LLM

Homepage · Source code

Author: Berrie AI, Inc · License: MIT

Version: 1.56.4 ·

О LiteLLM

Вызывайте все LLM API, используя формат OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq и др.]

preview

Возможности

  • Преобразование входных данных для конечных точек провайдера completion, embedding и image_generation
  • Согласованный вывод, текстовые ответы всегда будут доступны по пути ['choices'][0]['message']['content']
  • Логика повторных попыток/резервного копирования для нескольких развертываний (например, Azure/OpenAI) - Маршрутизатор
  • Установка бюджетов и ограничений скорости для проекта, API-ключа, модели Прокси-сервер LiteLLM (LLM Gateway)

Альтернатива для

Связанные