LiteLLM

Вызывайте все LLM API, используя формат OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq и др.]

Возможности

• Преобразование входных данных для конечных точек провайдера completion, embedding и image_generation
• Согласованный вывод, текстовые ответы всегда будут доступны по пути ['choices'][0]['message']['content']
• Логика повторных попыток/резервного копирования для нескольких развертываний (например, Azure/OpenAI) - Маршрутизатор
• Установка бюджетов и ограничений скорости для проекта, API-ключа, модели Прокси-сервер LiteLLM (LLM Gateway)