Runs locally, in one click.
- Version
- 1.98.0
- Stars
- ★ 57,1 тыс.
- License
- MIT
- Author
- Berrie AI, Inc
- Links
- Homepage Source code
О LiteLLM
Вызывайте все LLM API, используя формат OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq и др.]
Возможности
- Преобразование входных данных для конечных точек провайдера
completion,embeddingиimage_generation - Согласованный вывод, текстовые ответы всегда будут доступны по пути
['choices'][0]['message']['content'] - Логика повторных попыток/резервного копирования для нескольких развертываний (например, Azure/OpenAI) - Маршрутизатор
- Установка бюджетов и ограничений скорости для проекта, API-ключа, модели Прокси-сервер LiteLLM (LLM Gateway)