Ponte en Contacto
 Duración 35 horas

Temario del curso

Introducción y fundamentos del diagnóstico

  • Resumen de modos de fallo en sistemas de LLM y problemas específicos de Ollama
  • Establecimiento de experimentos reproducible y entornos controlados
  • Kit de herramientas de depuración: registros locales, capturas de solicitud/respuesta y sandboxing

Reproducción y aislamiento de fallos

  • Técnicas para crear ejemplos mínimos de fallo y semillas
  • Interacciones con estado vs sin estado: aislamiento de bugs relacionados con el contexto
  • Determinismo, aleatoriedad y control del comportamiento no determinista

Evaluación conductual y métricas

  • Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y sustitutos de perplexidad
  • Evaluaciones cualitativas: puntuación humana (human-in-the-loop) y diseño de rúbricas
  • Verificaciones de fidelidad específicas por tarea y criterios de aceptación

Pruebas automatizadas y regresión

  • Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo
  • Creación de suites de regresión y baselines de ejemplos dorados
  • Integración en CI/CD para actualizaciones de modelos de Ollama y puertas de validación automatizadas

Observabilidad y monitoreo

  • Registro estructurado, trazas distribuidas e IDs de correlación
  • Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
  • Alertas, tableros (dashboards) y SLIs/SLOs para servicios basados en modelos

Análisis avanzado de la causa raíz

  • Seguimiento a través de prompts graficados, llamadas a herramientas y flujos de múltiples turnos
  • Diagnóstico comparativo A/B y estudios de ablación
  • Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por el conjunto de datos

Seguridad, robustez y estrategias de remediación

  • Mitigaciones: filtrado, anclaje (grounding), aumento de recuperación y andamiaje de prompts (prompt scaffolding)
  • Patrones de revocación (rollback), canarios y despliegue gradual para actualizaciones de modelos
  • Autopsias (post-mortems), lecciones aprendidas y bucles de mejora continua

Resumen y próximos pasos

Requerimientos

  • Sólida experiencia en la construcción e implementación de aplicaciones de LLM
  • Familiaridad con los flujos de trabajo de Ollama y el alojamiento de modelos
  • Dominio de Python, Docker y herramientas básicas de observabilidad

Audiencia

  • Ingenieros de IA
  • Profesionales de ML Ops
  • Equipos de QA responsables de sistemas de LLM en producción

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas