Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 35 horas
Temario del curso
Introducción y fundamentos del diagnóstico
- Resumen de modos de fallo en sistemas de LLM y problemas específicos de Ollama
- Establecimiento de experimentos reproducible y entornos controlados
- Kit de herramientas de depuración: registros locales, capturas de solicitud/respuesta y sandboxing
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos mínimos de fallo y semillas
- Interacciones con estado vs sin estado: aislamiento de bugs relacionados con el contexto
- Determinismo, aleatoriedad y control del comportamiento no determinista
Evaluación conductual y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y sustitutos de perplexidad
- Evaluaciones cualitativas: puntuación humana (human-in-the-loop) y diseño de rúbricas
- Verificaciones de fidelidad específicas por tarea y criterios de aceptación
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo
- Creación de suites de regresión y baselines de ejemplos dorados
- Integración en CI/CD para actualizaciones de modelos de Ollama y puertas de validación automatizadas
Observabilidad y monitoreo
- Registro estructurado, trazas distribuidas e IDs de correlación
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
- Alertas, tableros (dashboards) y SLIs/SLOs para servicios basados en modelos
Análisis avanzado de la causa raíz
- Seguimiento a través de prompts graficados, llamadas a herramientas y flujos de múltiples turnos
- Diagnóstico comparativo A/B y estudios de ablación
- Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por el conjunto de datos
Seguridad, robustez y estrategias de remediación
- Mitigaciones: filtrado, anclaje (grounding), aumento de recuperación y andamiaje de prompts (prompt scaffolding)
- Patrones de revocación (rollback), canarios y despliegue gradual para actualizaciones de modelos
- Autopsias (post-mortems), lecciones aprendidas y bucles de mejora continua
Resumen y próximos pasos
Requerimientos
- Sólida experiencia en la construcción e implementación de aplicaciones de LLM
- Familiaridad con los flujos de trabajo de Ollama y el alojamiento de modelos
- Dominio de Python, Docker y herramientas básicas de observabilidad
Audiencia
- Ingenieros de IA
- Profesionales de ML Ops
- Equipos de QA responsables de sistemas de LLM en producción