Contacta con nosotros

Temario del curso

Introducción a Mistral a Gran Escala

  • Visión general de Mistral Medium 3
  • Compensaciones entre rendimiento y costos
  • Consideraciones para entornos empresariales

Patrones de Implementación para LLMs

  • Topologías de servicio y decisiones de diseño
  • Implementaciones en infraestructura propia vs. en la nube
  • Estrategias híbridas y multi-nube

Técnicas de Optimización de Inferencia

  • Estrategias de agrupación para alto rendimiento
  • Métodos de cuantización para reducir costos
  • Uso de aceleradores y GPUs

Escalabilidad y Fiabilidad

  • Escalado de clústeres de Kubernetes para inferencia
  • Balanceo de carga y enrutamiento de tráfico
  • Tolerancia a fallos y redundancia

Marco de Ingeniería de Costos

  • Medición de la eficiencia del costo de inferencia
  • Ajuste adecuado de recursos de computación y memoria
  • Monitoreo y alertas para optimización

Seguridad y Cumplimiento en Producción

  • Protección de implementaciones y APIs
  • Consideraciones sobre la gobernanza de datos
  • Cumplimiento normativo en ingeniería de costos

Casos de Estudio y Mejores Prácticas

  • Arquitecturas de referencia para Mistral a gran escala
  • Lecciones aprendidas de implementaciones empresariales
  • Tendencias futuras en inferencia eficiente de LLMs

Resumen y Próximos Pasos

Requerimientos

  • Conocimientos sólidos sobre la implementación de modelos de aprendizaje automático.
  • Experiencia con infraestructura en la nube y sistemas distribuidos.
  • Familiaridad con estrategias de ajuste de rendimiento y optimización de costos.

Público Objetivo

  • Ingenieros de infraestructura.
  • Arquitectos de nube.
  • Líderes de MLOps.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas