Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy afinando T5 para la generación de respuestas a preguntas y quiero agregar medidas adicionales (por ejemplo, BLEU, ROUGE) para las respuestas generadas, además de la función de pérdida. Para eso, creo que sería necesario obtener los tokens generados (respuestas) en cada training_step. Sin embargo, después de leer el código . . . Read more
Quiero afinar un modelo de transformador, pero obtengo un error desconocido cuando intento entrenar el modelo. No puedo cambiar “num_labels” al cargar el modelo. Entonces, intenté cambiarlo manualmente. model_name = “mrm8488/flaubert-small-finetuned-movie-review-sentiment-analysis” tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name).to(‘cuda’) num_labels = 3 model.sequence_summary.summary = torch.nn.Linear(in_features=model.sequence_summary.summary.in_features, out_features=num_labels, bias=True) trainer = Trainer( model=model, args=training_args, . . . Read more
Estoy entrenando un modelo BERT utilizando una máquina virtual TPU en GCP. Quiero usar mi bucket como la ruta de caché de la biblioteca de conjuntos de datos. He seguido las instrucciones de https://cloud.google.com/tpu/docs/tutorials/bert-2.x y he establecido el enlace de mi bucket en la variable de entorno HF_DATASETS_CACHE. Pero estoy . . . Read more
Entonces estoy utilizando un modelo de lenguaje pre-entrenado para la clasificación binaria. Ajusto el modelo mediante entrenamiento con datos específicos de mi tarea en particular. Los resultados son buenos, casi un 98% de medida-F. Sin embargo, cuando elimino una frase similar específica de los datos de entrenamiento y la añado . . . Read more
He estado resolviendo el problema de NER para un conjunto de datos vietnamitas con 15 etiquetas en formato IO. He estado utilizando la herramienta de interpretación AllenNLP para mi modelo, pero no puedo configurarla completamente. He utilizado un modelo de lenguaje pre-entrenado “xlm-roberta-base” basado en HuggingFace. He concatenado las últimas . . . Read more