Contacta con nosotros

Temario del curso

Introducción y Fundamentos de Diagnóstico

  • Visión general de los modos de fallo en sistemas LLM y problemas comunes específicos de Ollama.
  • Establecimiento de experimentos reproducibles y entornos controlados.
  • Herramientas de depuración: registros locales, capturas de solicitudes/respuestas y contenedores aislados (sandboxing).

Reproducción y Aislamiento de Fallos

  • Técnicas para crear ejemplos mínimos fallidos y valores iniciales (seeds).
  • Interacciones con estado frente a sin estado: aislamiento de errores relacionados con el contexto.
  • Determinismo, aleatoriedad y control del comportamiento no determinista.

Evaluación Conductual y Métricas

  • Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxies de perplejidad.
  • Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas.
  • Verificaciones de fidelidad específicas para la tarea y criterios de aceptación.

Pruebas Automatizadas y Regresión

  • Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo.
  • Creación de conjuntos de regresión y líneas base de ejemplos dorados (golden examples).
  • Integración con CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizadas.

Observabilidad y Monitoreo

  • Registro estructurado, trazas distribuidas e identificadores de correlación.
  • Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
  • Alertas, paneles de control y SLIs/SLOs para servicios respaldados por modelos.

Análisis Avanzado de la Causa Raíz

  • Trazabilidad a través de prompts graficados, llamadas a herramientas y flujos multironda.
  • Diagnóstico comparativo A/B y estudios de ablação.
  • Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por los datos.

Seguridad, Robustez y Estrategias de Remediación

  • Mitigaciones: filtrado, fundamentación (grounding), aumento mediante recuperación y andamiaje de prompts.
  • Patrones de retroceso (rollback), implementación canaria y despliegues por fases para actualizaciones de modelos.
  • Análisis post-mortem, lecciones aprendidas y bucles de mejora continua.

Resumen y Próximos Pasos

Requerimientos

  • Sólida experiencia construyendo y desplegando aplicaciones de LLM.
  • Conocimiento familiar con los flujos de trabajo de Ollama y el alojamiento de modelos.
  • Comodidad manejando Python, Docker y herramientas básicas de observabilidad.

Público Objetivo

  • Ingenieros de IA.
  • Profesionales de ML Ops.
  • Equipos de QA responsables de sistemas LLM en producción.
 35 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas