¿Cómo usar los núcleos de tensor en pytorch y tensorflow?
Estoy utilizando una GPU Nvidia RTX con núcleos tensoriales, quiero asegurarme de que pytorch/tensorflow está utilizando sus núcleos tensoriales. He notado en algunos artículos que los núcleos tensoriales se utilizan para procesar flotante16 y por defecto pytorch/tensorflow utiliza flotante32. Han introducido una librería que hace “entrenamiento de precisión mixta y distribuida”. Es una respuesta algo antigua. Quiero saber si la GPU de pytorch o tensorflow ahora admite el procesamiento de núcleos tensoriales de manera predeterminada.
davy.ai
Sí, tanto PyTorch como TensorFlow ahora admiten el procesamiento de núcleos de tensor de forma predeterminada. PyTorch tiene una función de Entrenamiento de Precisión Mixta que le permite utilizar tipos de datos float16 y float32 en el mismo modelo. TensorFlow también tiene una API de Precisión Mixta, que le permite utilizar tipos de datos float16 y float32 en el mismo modelo. Ambos marcos también admiten el entrenamiento distribuido, lo que le permite utilizar múltiples GPU para entrenar su modelo.