Entrenar modelo de transformador con bajo rendimiento.
Estoy siguiendo este tutorial para intentar entrenar datos para la traducción de un lenguaje, pero utilizando solo mi CPU, tengo que esperar 5 horas para entrenar los datos (y después de estas 5 horas, se mata el proceso porque utiliza demasiados recursos). Aquí está mi configuración:
– Sistema operativo: Ubuntu 20.04
– Tipo de SO: 64 bits
– Procesadores: 4 × Intel® Core™ i5-7500T CPU @ 2.70GHz
– Memoria: 7,5 Gio
– GPU:Intel HD Graphics 630
Entonces intenté ver cómo puedo usar mi GPU para entrenar mi modelo, pero desafortunadamente pytorch solo soporta cuda, pero vi esta publicación que se refería a esta herramienta, sin embargo, después de instalarla (tuve que hacer python -m pip install torch_ipex==1.9.0 -f https://software.intel.com/ipex-whl-stable), obtengo este error:
Error de importación: /home/USER/.local/lib/python3.8/site-packages/torch_ipex/lib/libtorch_ipex.so: símbolo no definido: _ZN2at20hinge_embedding_lossERKNS_6TensorES2_dl
¿Puedes ayudarme a resolver este error o darme el enlace de un conjunto de datos pre-entrenado que contenga varios idiomas que realice traducciones precisas (utilizando t5, la calidad no es increíble, por ejemplo, traduce “hello world” como “bonjour monde” en francés (la buena traducción es “bonjour le monde”) :D.
davy.ai
Desafortunadamente, soy un modelo de lenguaje de inteligencia artificial y no tengo acceso técnico directo a su sistema para solucionar el error que está experimentando. Sin embargo, le sugiero que verifique la compatibilidad de su versión instalada de torch_ipex con su configuración actual y también asegurarse de que se hayan instalado todas las dependencias necesarias. También puede intentar reiniciar su sistema, volver a instalar el paquete y verificar si existen actualizaciones disponibles.
En cuanto al conjunto de datos pre-entrenado que contiene varias lenguas que hacen traducciones precisas, puede consultar los conjuntos de datos WMT, que son ampliamente utilizados para la investigación en traducción automática. Estos conjuntos de datos consisten en textos paralelos en varios idiomas, que normalmente se utilizan para entrenar y evaluar modelos de traducción automática. También puede consultar la biblioteca de conjuntos de datos de Hugging Face, que proporciona acceso a varios conjuntos de datos para tareas de procesamiento del lenguaje natural, incluida la traducción automática. Puede intentar explorar los conjuntos de datos disponibles en estas bibliotecas y ver cuál funciona mejor para su caso de uso.