Taller de migración a Databricks: De procedimientos almacenados a Lakehouse (Intensivo de 5 días)

Introducción, Objetivos y Estrategia de Migración

• Objetivos del curso, alineación con el perfil del participante y criterios de éxito
• Enfoques de migración a alto nivel y consideraciones de riesgo
• Configuración de espacios de trabajo, repositorios y conjuntos de datos de laboratorio

Día 1 — Fundamentos de migración y arquitectura

• Conceptos de Lakehouse, descripción general de Delta Lake y arquitectura de Databricks
• Diferencias entre SMP y MPP e implicaciones para la migración
• Diseño Medallion (Bronce → Plata → Oro) y descripción general de Unity Catalog

Laboratorio del Día 1 — Traducción de un procedimiento almacenado

• Migración práctica de un procedimiento almacenado de ejemplo a un notebook
• Mapeo de tablas temporales y cursores a transformaciones de DataFrames
• Validación y comparación con la salida original

Día 2 — Delta Lake avanzado y carga incremental

• Transacciones ACID, registros de confirmación, versionado y viaje en el tiempo
• Auto Loader, patrones de MERGE INTO, inserciones actualizables (upserts) y evolución del esquema
• OPTIMIZE, VACUUM, Z-ORDER, particionamiento y ajuste de almacenamiento

Laboratorio del Día 2 — Ingesta incremental y optimización

• Implementación de la ingesta con Auto Loader y flujos de trabajo de MERGE
• Aplicación de OPTIMIZE, Z-ORDER y VACUUM; validación de resultados
• Medición de mejoras en el rendimiento de lectura/escritura

Día 3 — SQL en Databricks, Rendimiento y Depuración

• Características de SQL analítico: funciones de ventana, funciones de alto orden, manejo de JSON/arreglos
• Lectura de la interfaz de usuario de Spark, DAGs, mezclas (shuffles), etapas, tareas y diagnóstico de cuellos de botella
• Patrones de ajuste de consultas: uniones de difusión (broadcast), pistas (hints), caché y reducción de desbordamiento (spill)

Laboratorio del Día 3 — Refactorización de SQL y ajuste de rendimiento

• Refactorizar un proceso SQL pesado en SQL de Spark optimizado
• Utilizar trazas de la interfaz de usuario de Spark para identificar y corregir problemas de sesgo (skew) y mezcla
• Realizar comparaciones de rendimiento antes/después y documentar los pasos de ajuste

Día 4 — PySpark táctico: Reemplazo de la lógica procedural

• Modelo de ejecución de Spark: controlador (driver), ejecutores (executors), evaluación perezosa y estrategias de particionamiento
• Transformación de bucles y cursores en operaciones vectorizadas de DataFrames
• Modularización, UDFs/UDFs de pandas, widgets y bibliotecas reutilizables

Laboratorio del Día 4 — Refactorización de scripts procedurales

• Refactorizar un script ETL procedural en notebooks de PySpark modulares
• Introducir parametrización, pruebas de estilo unitario y funciones reutilizables
• Revisión de código y aplicación de la lista de verificación de mejores prácticas

Día 5 — Orquestación, Pipeline de extremo a extremo y Mejores prácticas

• Databricks Workflows: diseño de trabajos, dependencias de tareas, desencadenantes y manejo de errores
• Diseño de pipelines Medallion incrementales con reglas de calidad y validación de esquema
• Integración con Git (GitHub/Azure DevOps), CI y estrategias de pruebas para la lógica de PySpark

Laboratorio del Día 5 — Construcción de un pipeline completo de extremo a extremo

• Ensamblaje del pipeline Bronce → Plata → Oro orquestado con Workflows
• Implementación de registros (logging), auditoría, reintentos y validaciones automatizadas
• Ejecución del pipeline completo, validación de salidas y preparación de notas de implementación

Operacionalización, Gobernanza y Preparación para Producción

• Mejores prácticas en gobernanza de Unity Catalog, genealogía de datos y controles de acceso
• Costos, dimensionamiento de clústeres, escalado automático y patrones de concurrencia de trabajos
• Listas de verificación de implementación, estrategias de reversión y creación de manuales de operación (runbooks)

Revisión final, Transferencia de conocimientos y Próximos pasos

• Presentaciones de los participantes sobre el trabajo de migración y lecciones aprendidas
• Análisis de brechas, actividades de seguimiento recomendadas y entrega de materiales de capacitación
• Referencias, rutas de aprendizaje adicionales y opciones de soporte