Перейти к содержимому

Шаблон · AI и LLM

LiteLLM Proxy

OpenAI-compatible gateway to 100+ LLM providers with keys, spend tracking and a UI.

Развернуть на Skiffly

Откроется панель с уже выбранным шаблоном. Если вы у нас впервые, войдите через GitHub; бесплатный тариф не требует карты.

  • Postgrespostgres:17
  • LiteLLMghcr.io/berriai/litellm:main-latest
Документация проекта

Что будет развёрнуто

2 сервиса в выбранном вами окружении, в приватной сети проекта.

Об этом шаблоне

ghcr.io/berriai/litellm:main-latest + PostgreSQL 17 (models are stored in the DB and managed from the UI at /ui).

Postgres

Образ: postgres:17

  • Порт 5432/tcp
  • том 10 ГБ в /var/lib/postgresql/data
  • 1 vCPU · 1 GB

LiteLLM

Образ: ghcr.io/berriai/litellm:main-latest

  • Порт 4000/http
  • Публичный домен с TLS
  • 1 vCPU · 1 GB
  • /health/liveliness

Переменные

Сгенерированные секреты никогда не покидают платформу; ссылки резолвятся в приватной сети. Всё, что отмечено как обязательное, запрашивается при деплое.

Postgres

ИмяЗначение
POSTGRES_USERpostgresSuperuser name
POSTGRES_PASSWORDгенерируется (password)Generated at deploy
POSTGRES_DBlitellmDatabase created on first start
PGDATA/var/lib/postgresql/data/pgdata
DATABASE_URLpostgresql://${{self.POSTGRES_USER}}:${{self.POSTGRES_PASSWORD}}@${{self.SKIFFLY_PRIVATE_DOMAIN}}:5432/${{self.POSTGRES_DB}}Connection string on the private network

LiteLLM

ИмяЗначение
DATABASE_URL${{Postgres.DATABASE_URL}}
LITELLM_MASTER_KEYгенерируется (secret)Prefix it with sk- when using it as an API key
LITELLM_SALT_KEYгенерируется (secret)
STORE_MODEL_IN_DBTrue
UI_USERNAMEadmin
UI_PASSWORDгенерируется (password)
PORT4000

Кнопка деплоя для вашего README

Добавьте ссылку на деплой в один клик в свой репозиторий или документацию. Два варианта: для светлого и тёмного фона.

Развернуть на SkifflyРазвернуть на Skiffly
Markdown · Светлый фон
[![Развернуть на Skiffly](https://skiffly.dev/button.svg)](https://skiffly.dev/templates/litellm)
Markdown · Тёмный фон
[![Развернуть на Skiffly](https://skiffly.dev/button-dark.svg)](https://skiffly.dev/templates/litellm)
HTML
<a href="https://skiffly.dev/templates/litellm"><img src="https://skiffly.dev/button.svg" alt="Развернуть на Skiffly" height="32"></a>

Разверните LiteLLM Proxy в один клик

Тома, секреты и домен уже настроены. Работает на нодах в ЕС, оплата поминутно с предоплаченного баланса.