Tag: HUGGINGFACE-TRANSFORMERS
Estoy siguiendo el material del curso de Hugging Face: https://huggingface.co/course/chapter7/3?fw=pt (por cierto, excelente material). Sin embargo, ahora me encuentro con un problema. Cuando ejecuto el entrenamiento y la evaluación utilizando el datacollator predeterminado, todo va bien. Pero cuando uso el datacollator personalizado de enmascaramiento de palabras completas, no funciona porque . . . Read more
Quiero enmascarar un tensor basado en sus valores. En la siguiente función, si paso un rango (parte segunda), funciona, pero quiero tener una lista con varios valores prompt_ids (3, 8, 9, 30). Pero no funciona y arroja un error. RuntimeError: El valor booleano de un Tensor con más de un . . . Read more
Estoy utilizando mBART-50 y Hugging Face para traducir entre hindi e inglés. Pero lleva mucho tiempo cargar la biblioteca. ¿Hay alguna manera de optimizarlo? “` from transformers import MBartForConditionalGeneration, MBart50TokenizerFast modelo = MBartForConditionalGeneration.from_pretrained("facebook/mbart-large-50-many-to-many-mmt") tokenizer = MBart50TokenizerFast.from_pretrained("facebook/mbart-large-50-many-to-many-mmt", src_lang="hi_IN") texto = "मैं ठीक हूँ।" inputs_modelo = tokenizer(texto, return_tensors="pt") tokens_generados = modelo.generate(**inputs_modelo, forced_bos_token_id=tokenizer.lang_code_to_id["en_XX"]) . . . Read more
Intenté utilizar el API de conjunto de datos cargado con mis propios datos para entrenar el modelo de hunggingface. Este es mi código: train_data = datasets.load_dataset(‘csv’, data_files=”/gdrive/MyDrive/project/train.csv”) test_data = datasets.load_dataset(‘csv’, data_files=”/gdrive/MyDrive/project/test.csv”) train_data DatasetDict({ train: Dataset({ features: [‘Post’, ‘Label’], num_rows: 174 }) }) Pero en el entrenador, obtengo este mensaje de . . . Read more
Estoy siguiendo este tutorial para intentar entrenar datos para la traducción de un lenguaje, pero utilizando solo mi CPU, tengo que esperar 5 horas para entrenar los datos (y después de estas 5 horas, se mata el proceso porque utiliza demasiados recursos). Aquí está mi configuración: – Sistema operativo: Ubuntu . . . Read more