Optimización del rendimiento de redes neuronales con CANN SDK

Resumen de las capacidades de optimización de CANN

• Cómo se gestiona el rendimiento de inferencia en CANN
• Objetivos de optimización para sistemas de IA en el borde (edge) y embebidos
• Comprensión de la utilización de AI Cores y la asignación de memoria

Uso de Graph Engine para el análisis

• Introducción a Graph Engine y la tubería de ejecución (pipeline)
• Visualización de grafos de operadores y métricas de tiempo de ejecución
• Modificación de grafos computacionales para la optimización

Herramientas de perfilamiento y métricas de rendimiento

• Uso de la herramienta de perfilamiento de CANN (profiler) para el análisis de carga de trabajo
• Análisis del tiempo de ejecución de kernels y cuellos de botella
• Perfilamiento de acceso a memoria y estrategias de tiling

Desarrollo de operadores personalizados con TIK

• Resumen de TIK y el modelo de programación de operadores
• Implementación de un operador personalizado utilizando el DSL de TIK
• Pruebas y evaluación de rendimiento (benchmarking) de operadores

Optimización avanzada de operadores con TVM

• Introducción a la integración de TVM con CANN
• Estrategias de autoajuste (auto-tuning) para grafos computacionales
• Cuándo y cómo cambiar entre TVM y TIK

Técnicas de optimización de memoria

• Gestión del diseño de memoria y la colocación de buffers
• Técnicas para reducir el consumo de memoria en el chip
• Mejores prácticas para la ejecución asíncrona y la reutilización

Despliegue en el mundo real y casos de estudio

• Caso de estudio: ajuste de rendimiento para la tubería de cámaras de ciudades inteligentes
• Caso de estudio: optimización de la pila de inferencia para vehículos autónomos
• Pautas para el perfilamiento iterativo y la mejora continua

Resumen y próximos pasos