Optimización del rendimiento en las plataformas Ascend, Biren y Cambricon

Conceptos y métricas de rendimiento

• Latencia, rendimiento, uso de energía, utilización de recursos
• Cuellos de botella a nivel de sistema frente a nivel de modelo
• Perfilado para inferencia frente a entrenamiento

Perfilado en Huawei Ascend

• Uso de CANN Profiler y MindInsight
• Diagnóstico de kernels y operadores
• Patrones de descarga (offload) y mapeo de memoria

Perfilado en GPU Biren

• Características de monitorización de rendimiento del SDK de Biren
• Fusión de kernels, alineación de memoria y colas de ejecución
• Perfilado consciente de la energía y la temperatura

Perfilado en Cambricon MLU

• Herramientas de rendimiento BANGPy y Neuware
• Visibilidad a nivel de kernel e interpretación de registros
• Integración del perfilador MLU con marcos de implementación

Optimización a nivel de gráfico y modelo

• Estrategias de poda de gráficos y cuantización
• Fusión de operadores y reestructuración del grafo computacional
• Normalización del tamaño de entrada y ajuste por lotes (batch)

Optimización de memoria y kernel

• Optimización de la disposición de la memoria y su reutilización
• Gestión eficiente de búferes entre diferentes conjuntos de chips
• Técnicas de ajuste a nivel de kernel específicas por plataforma

Mejores prácticas multiplataforma

• Portabilidad del rendimiento: estrategias de abstracción
• Creación de flujos de trabajo de ajuste compartidos para entornos multicchip
• Ejemplo: ajuste de un modelo de detección de objetos en Ascend, Biren y MLU

Resumen y próximos pasos