Ir al contenido

Plantilla · IA y LLM

LiteLLM Proxy

OpenAI-compatible gateway to 100+ LLM providers with keys, spend tracking and a UI.

Desplegar en Skiffly

Abre el panel con esta plantilla preseleccionada. Inicia sesión con GitHub si eres nuevo; el plan gratuito no pide tarjeta.

  • Postgrespostgres:17
  • LiteLLMghcr.io/berriai/litellm:main-latest
Documentación del proyecto

Qué se despliega

2 servicios en el entorno que elijas, en la red privada del proyecto.

Sobre esta plantilla

ghcr.io/berriai/litellm:main-latest + PostgreSQL 17 (models are stored in the DB and managed from the UI at /ui).

Postgres

Imagen: postgres:17

  • Puerto 5432/tcp
  • Volumen de 10 GB en /var/lib/postgresql/data
  • 1 vCPU · 1 GB

LiteLLM

Imagen: ghcr.io/berriai/litellm:main-latest

  • Puerto 4000/http
  • Dominio público con TLS
  • 1 vCPU · 1 GB
  • /health/liveliness

Variables

Los secretos generados nunca salen de la plataforma; las referencias se resuelven en la red privada. Lo marcado como requerido se pide al desplegar.

Postgres

NombreValor
POSTGRES_USERpostgresSuperuser name
POSTGRES_PASSWORDgenerado (password)Generated at deploy
POSTGRES_DBlitellmDatabase created on first start
PGDATA/var/lib/postgresql/data/pgdata
DATABASE_URLpostgresql://${{self.POSTGRES_USER}}:${{self.POSTGRES_PASSWORD}}@${{self.SKIFFLY_PRIVATE_DOMAIN}}:5432/${{self.POSTGRES_DB}}Connection string on the private network

LiteLLM

NombreValor
DATABASE_URL${{Postgres.DATABASE_URL}}
LITELLM_MASTER_KEYgenerado (secret)Prefix it with sk- when using it as an API key
LITELLM_SALT_KEYgenerado (secret)
STORE_MODEL_IN_DBTrue
UI_USERNAMEadmin
UI_PASSWORDgenerado (password)
PORT4000

Botón de despliegue para tu README

Agrega un enlace de despliegue en un clic a tu repositorio o documentación. Dos variantes: para fondos claros y oscuros.

Desplegar en SkifflyDesplegar en Skiffly
Markdown · Fondo claro
[![Desplegar en Skiffly](https://skiffly.dev/button.svg)](https://skiffly.dev/templates/litellm)
Markdown · Fondo oscuro
[![Desplegar en Skiffly](https://skiffly.dev/button-dark.svg)](https://skiffly.dev/templates/litellm)
HTML
<a href="https://skiffly.dev/templates/litellm"><img src="https://skiffly.dev/button.svg" alt="Desplegar en Skiffly" height="32"></a>

Despliega LiteLLM Proxy en un clic

Volúmenes, secretos y dominio preconfigurados. Corre en nodos en la UE, se paga por minuto desde un saldo prepago.