Modelos de Lenguaje Grande (LLM) y Aprendizaje por Refuerzo (RL)

Introducción a los Modelos de Lenguaje Grande (LLM)

• Visión general de los LLM
• Definición e importancia
• Aplicaciones en la IA actual

Arquitectura Transformadora (Transformer)

• ¿Qué es un transformador y cómo funciona?
• Componentes principales y características
• Embebido y codificación posicional
• Atención multi-cabeza (Multi-head attention)
• Red neuronal de alimentación hacia adelante (Feed-forward neural network)
• Normalización y conexiones residuales

Modelos Transformadores

• Mecanismo de autoatención (Self-attention)
• Arquitectura codificador-decodificador
• Embebidos posicionales
• BERT (Representaciones Codificadoras Bidireccionales de Transformers)
• GPT (Transformador Preentrenado Generativo)

Optimización del rendimiento y aspectos a tener en cuenta

• Longitud del contexto
• Mamba y modelos de espacio de estados
• Atención flash (Flash attention)
• Transformadores dispersos (Sparse transformers)
• Transformadores visuales (Vision transformers)
• Importancia de la cuantización

Mejora de los transformadores

• Generación de texto aumentada por recuperación
• Mezcla de modelos (Mixture of models)
• Árbol de pensamientos (Tree of thoughts)

Ajuste fino (Fine-Tuning)

• Teoría de la adaptación de bajo rango
• Ajuste fino con QLora

Leyes de escalado y optimización en LLM

• Importancia de las leyes de escalado para los LLM
• Escalar tamaño de datos y modelo
• Escala computacional
• Escala de eficiencia de parámetros

Optimización

• Relación entre el tamaño del modelo, el tamaño de los datos, el presupuesto de cómputo y los requisitos de inferencia
• Optimización del rendimiento y la eficiencia de los LLM
• Mejores prácticas y herramientas para entrenar y ajustar finamente (fine-tune) LLM

Entrenamiento y ajuste fino (Fine-Tuning) de LLM

• Etapas y desafíos del entrenamiento de LLM desde cero
• Adquisición y mantenimiento de datos
• Requisitos de datos a gran escala, CPU y memoria
• Desafíos de optimización
• Panorama de los LLM de código abierto

Fundamentos del Aprendizaje por Refuerzo (RL)

• Introducción al aprendizaje por refuerzo
• Aprendizaje mediante refuerzo positivo
• Definición y conceptos clave
• Proceso de decisión de Markov (MDP)
• Programación dinámica
• Métodos de Monte Carlo
• Aprendizaje por diferencia temporal

Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning)

• Redes Q profundas (DQN)
• Optimización de política proximal (PPO)
• Elementos del aprendizaje por refuerzo

Integración de LLM y Aprendizaje por Refuerzo

• Combinación de LLM con Aprendizaje por Refuerzo
• Cómo se utiliza el RL en los LLM
• Aprendizaje por refuerzo con retroalimentación humana (RLHF)
• Alternativas al RLHF

Estudios de caso y aplicaciones

• Aplicaciones en el mundo real
• Historias de éxito y desafíos

Tópicos avanzados

• Técnicas avanzadas
• Métodos de optimización avanzada
• Investigación y desarrollos de vanguardia

Resumen y próximos pasos