Flujos de trabajo con LLM multimodales en Vertex AI

Introducción a los LLM multimodales en Vertex AI

• Resumen de las capacidades multimodales en Vertex AI
• Modelos Gemini y modalidades admitidas
• Casos de uso en empresas e investigación

Configuración del entorno de desarrollo

• Configuración de Vertex AI para flujos de trabajo multimodales
• Trabajo con conjuntos de datos entre diferentes modalidades
• Taller práctico: configuración del entorno y preparación de conjuntos de datos

Ventanas de contexto largas y razonamiento avanzado

• Comprensión de flujos de trabajo con contexto largo
• Casos de uso en planificación y toma de decisiones
• Taller práctico: implementación de análisis con contexto largo

Diseño de flujos de trabajo intermodales

• Combinación de análisis de texto, audio e imagen
• Encadenamiento de pasos multimodales en tuberías (pipelines)
• Taller práctico: diseño de una tubería multimodal

Trabajo con parámetros de la API de Gemini

• Configuración de entradas y salidas multimodales
• Optimización de inferencia y eficiencia
• Taller práctico: ajuste de parámetros de la API de Gemini

Aplicaciones avanzadas e integraciones

• Agentes y asistentes multimodales interactivos
• Integración de APIs y herramientas externas
• Taller práctico: construcción de una aplicación multimodal

Evaluación e iteración

• Pruebas del rendimiento multimodal
• Métricas para precisión, alineación y deriva (drift)
• Taller práctico: evaluación de flujos de trabajo multimodales

Resumen y próximos pasos