Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Quiero continuar con el preentrenamiento del modelo BERT en mi propio conjunto de datos. Según entiendo, esto se denomina adaptación de dominio. Por lo tanto, este enfoque será no supervisado. Usaré BertForMaskedLM o BertForPreTraining. ¿Cómo puedo lograr esto usando transformers.Trainer? ¿Qué debe devolver mi clase Dataset en el método __getitem__? . . . Read more
He entrenado un modelo BERT utilizando pytorch con alrededor de un millón de datos de texto para una tarea de clasificación. Después de probar este modelo con nuevos datos, obtengo Falsos Positivos y Falsos Negativos. Ahora quiero volver a entrenar el modelo existente solo con los FN y FP. No . . . Read more
Estoy utilizando los modelos de huggingface transformers para varias tareas y funciona bien, pero el único problema es el tiempo de respuesta. Tarda alrededor de 6-7 segundos en generar el resultado, mientras que a veces incluso tarda alrededor de 15-20 segundos. Lo intenté en Google Colab usando GPU, el rendimiento . . . Read more
Intenté seguir el ejemplo de tokenización siguiente: tokenizer = BertTokenizer.from_pretrained(MODEL_TYPE, do_lower_case=True) sent = “Me desagrada esto. No aquello.”, _tokenized = tokenizer(sent, padding=True, max_length=20, truncation=True) print(_tknzr.decode(_tokenized[‘input_ids’][0])) print(len(_tokenized[‘input_ids’][0])) La salida fue: [CLS] Me desagrada esto. No aquello. [SEP] 9 Observe el parámetro max_length=20 de tokenizer. ¿Cómo puedo hacer que el tokenizador de . . . Read more
Estoy intentando ajustar un modelo BERT preentrenado de HuggingFace. Estoy importando lo siguiente: from transformers import (AutoTokenizer, AutoConfig, AutoModelForSequenceClassification, TrainingArguments, Trainer) y obtengo el siguiente error: no se puede importar el nombre ‘TrainingArguments’ de ‘transformers’ Tampoco puedo importar ‘Trainer’. Actualmente tengo instalados tensorflow 2.2.0, pytorch 1.7.1, y transformers 2.1.1.