Modelos de decisión autoalojados: Servidumbre, Cuantización, Latencia y Operaciones

Opciones de implementación

• Comercios entre API alojada (hosted) y autoalojada
• Patrones on-premises, de borde y en entornos aislados (air-gapped)
• Modelo único versus portafolio de modelos
• Comparación del costo por decisión

Tamaño de hardware y capacidad

• Huella de memoria por cantidad de parámetros
• Solo CPU versus aceleración con GPU
• Planificación de concurrencia y rendimiento (throughput)
• Margen para el crecimiento de la longitud de la tarea

Pilas de aprovisionamiento (Serving Stacks)

• Opciones con vLLM y SGLang
• Ejecución con llama.cpp y GGUF
• Ollama para desarrollo local
• Selección basada en la forma de la carga de trabajo de decisión

Cuantización sin perder calibración

• Formatos de precisión y ahorros de memoria
• Medición de la pérdida de calidad y calibración
• Variantes por tensor y basadas en importancia
• Pruebas de aceptación tras la cuantización

Ingeniería de latencia

• Latencia mediana versus latencia de cola (tail latency)
• Crecimiento de la latencia con la longitud del contexto
• Arranque en caliente (warm start) y caché de modelos
• Loteo (batching) de múltiples preguntas de decisión

Borde y entornos restringidos

• Pequeños modelos de decisión en CPU
• Implementación en Apple Silicon y dispositivos embebidos
• Operación offline y estrategia de actualización
• Distribución de pesos en entornos aislados (air-gapped)

Contenerización y escalado

• Diseño de imágenes para el aprovisionamiento de modelos
• Gestión de volúmenes y caché
• Escalado horizontal y enrutamiento
• Límites de recursos y compartición de GPU

Observabilidad

• Métricas de solicitudes, latencia y errores
• Monitorización de la distribución de confianza
• Rastreo de resultados de decisión y escalaciones
• Alertas por deriva de calibración (calibration drift)

Versionado y despliegue

• Versionado de modelos y adaptadores
• Despliegue sombreado (shadow) y canario
• Archivos de modelos fijados para auditoría
• Procedimientos de reversión (rollback)

Seguridad y multitenancy

• Autenticación y limitación de tasa (rate limiting)
• Aislamiento de inquilinos (tenants) para prompts y registros
• Aislamiento de red y control de egreso
• Registros de auditoría de decisiones