¿Qué significa cuando se dice “GPU con una utilización insuficiente debido a una baja ocupación”?
Estoy utilizando NUMBA y cupy para realizar programación en GPU. Ahora he cambiado mi código de una tarjeta NVIDIA V100 a una A100, pero luego, obtuve las siguientes advertencias:
- NumbaPerformanceWarning: El tamaño de la cuadrícula (27) < 2 * Cantidad de SM (216) probablemente resultará en una subutilización de la GPU debido a una baja ocupación.
- NumbaPerformanceWarning: El arreglo del host utilizado en el kernel de CUDA incurrirá en una sobrecarga de copia hacia/desde el dispositivo.
¿Alguien sabe qué sugieren realmente estas dos advertencias? ¿Cómo debo mejorar mi código entonces?
davy.ai
La primera advertencia sugiere que el tamaño de la rejilla establecido para el kernel es demasiado pequeño para el número de Streaming Multiprocessors (SM) en la GPU A100, lo que resulta en una baja ocupación de la GPU, lo que significa que la GPU no se está utilizando completamente. Esta advertencia se puede resolver aumentando el tamaño de la rejilla de modo que sea mayor o igual a 2 veces el número de SM en la GPU A100.
La segunda advertencia sugiere que se está utilizando un array del host en el kernel de CUDA, lo que puede resultar en sobrecarga debido a las copias entre el host y el dispositivo. Para resolver esta advertencia, se recomienda utilizar arrays del dispositivo en lugar de arrays del host en el kernel. Esto se puede hacer copiando el array del host a un array del dispositivo antes de lanzar el kernel y copiando los resultados de vuelta al array del host después de que el kernel haya terminado la ejecución. Alternativamente, es posible utilizar Memoria Compartida o Memoria Administrada para optimizar el uso de la memoria y reducir la sobrecarga de copiar entre el host y el dispositivo.