Contacta con nosotros

Temario del curso

Introducción al Ajuste Fino Eficiente en Parámetros (PEFT)

  • Motivación y limitaciones del ajuste fino completo.
  • Resumen de PEFT: objetivos y beneficios.
  • Aplicaciones y casos de uso en la industria.

LoRA (Low-Rank Adaptation)

  • Concepto e intuición detrás de LoRA.
  • Implementación de LoRA utilizando Hugging Face y PyTorch.
  • Taller: Ajuste fino de un modelo con LoRA.

Ajuste Fino con Adaptadores (Adapter Tuning)

  • Cómo funcionan los módulos adaptadores.
  • Integración con modelos basados en transformadores.
  • Taller: Aplicación de Ajuste Fino con Adaptadores a un modelo transformer.

Ajuste Fino con Prefijos (Prefix Tuning)

  • Uso de indicaciones suaves (soft prompts) para el ajuste fino.
  • Ventajas y limitaciones en comparación con LoRA y los adaptadores.
  • Taller: Ajuste Fino con Prefijos en una tarea LLM.

Evaluación y comparación de métodos PEFT

  • Métricas para evaluar el rendimiento y la eficiencia.
  • Compromisos entre velocidad de entrenamiento, uso de memoria y precisión.
  • Experimentos de benchmarking e interpretación de resultados.

Despliegue de modelos ajustados finamente

  • Guardado y carga de modelos ajustados finamente.
  • Consideraciones para el despliegue de modelos basados en PEFT.
  • Integración en aplicaciones y pipelines.

Mejores prácticas y extensiones

  • Combinación de PEFT con cuantización y destilación.
  • Uso en entornos con recursos limitados y multilingües.
  • Futuras direcciones y áreas de investigación activa.

Resumen y próximos pasos

Requerimientos

  • Conocimientos fundamentales de aprendizaje automático (machine learning).
  • Experiencia trabajando con modelos de lenguaje grande (LLM).
  • Familiaridad con Python y PyTorch.

Público objetivo

  • Científicos de datos.
  • Ingenieros de IA.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas