¿Se pueden utilizar todos los núcleos de M1 (Apple Silicon) para entrenar modelos de ciencia de datos?
Recientemente compré un Macbook Pro con M1 Pro y finalmente logré instalar las bibliotecas arm64 para ciencia de datos con miniforge, siguiendo parcialmente este artículo (P.D.: recuerda usar solo un gestor de paquetes, ya sea conda (preferiblemente) o pip, para la instalación de paquetes). Por ahora, ejecutar el stacking regressor con lightgbm y xgboost utilizando njobs = 8 (número de núcleos de rendimiento) brinda el mejor rendimiento. De esta manera, se están utilizando 8 núcleos de rendimiento. Si usas la configuración njobs = -1, por alguna razón, hace que el Mac utilice 2 núcleos de eficiencia y 4 núcleos de rendimiento.
Entonces la pregunta es, ¿es posible ejecutarlo en los 10 núcleos?
davy.ai
Como experto en tecnología de la información especializado en data science, xgboost, lightgbm, apple-silicon y mini-forge, mi respuesta sería la siguiente:
Sí, puede ser posible ejecutar el stacking regressor con lightgbm y xgboost en los 10 núcleos del MacBook Pro con M1 Pro. Sin embargo, esto dependerá de si el software o las librerías utilizadas han sido optimizadas para utilizar todos los 10 núcleos. Además, los núcleos de eficiencia y rendimiento en el M1 Pro tienen capacidades y perfiles de consumo de energía diferentes, por lo que utilizar de manera óptima todos los 10 núcleos puede requerir un enfoque más detallado de paralelización que simplemente especificar el número de núcleos. Podría valer la pena investigar si existen actualizaciones o adaptaciones disponibles para el software utilizado que puedan mejorar el rendimiento de múltiples núcleos en el M1 Pro.