Contacta con nosotros

Temario del curso

Introducción ao escalado de Ollama

  • Arquitectura de Ollama e consideracións de escalado
  • As limitacións máis comúns en despliegues multiusuario
  • Mellores prácticas para a preparación da infraestrutura

Asignación de recursos e optimización da GPU

  • Estratexias eficientes de utilización de CPU/GPU
  • Consideracións sobre memoria e ancho de banda
  • Restricións de recursos a nivel de contenedor

Despliegue con contenedores e Kubernetes

  • Conteneurización de Ollama con Docker
  • Ejecución de Ollama en clústers de Kubernetes
  • Balanceo de carga e descubemento de servizos

Escalado automático e agrupamento (batching)

  • Deseño de políticas de escalado automático para Ollama
  • Técnicas de inferencia en lotes (batch inference) para optimizar o throughput
  • Compensacións entre latencia e throughput

Optimización da latencia

  • Análise do perfil de rendemento da inferencia
  • Estratexias de caché e activación previa dos modelos (warm-up)
  • Reducción da carga de entrada/saída (I/O) e da sobrecarga de comunicación

Monitorización e observabilidade

  • Integración de Prometheus para métricas
  • Construción de paneis con Grafana
  • Alertas e resposta a incidentes para a infraestrutura de Ollama

Xestión de custos e estratexias de escalado

  • Asignación de GPU consciente dos custos
  • Consideracións sobre despliegues en nuvem fronte a infraestructura propia (on-prem)
  • Estratexias para un escalado sustentable

Resumo e próximos pasos

Requerimientos

  • Experiencia en administración de sistemas Linux
  • Coñecementos de conteneurización e orquestación
  • Familiaridade co despliegue de modelos de aprendizaxe automática (machine learning)

Auditorio

  • Inxeñeiros DevOps
  • Equipos de infraestrutura ML
  • Inxeñeiros de fiabilidade do sitio (SRE)
 21 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas