Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Entonces estoy utilizando un modelo de lenguaje pre-entrenado para la clasificación binaria. Ajusto el modelo mediante entrenamiento con datos específicos de mi tarea en particular. Los resultados son buenos, casi un 98% de medida-F. Sin embargo, cuando elimino una frase similar específica de los datos de entrenamiento y la añado . . . Read more
Por ejemplo, supongamos que estoy construyendo un modelo transformer (de huggingface) y hay 20 clases en los datos de entrenamiento, sin embargo, solo hay 5 clases en los datos de prueba. Para configurar el modelo transformer de huggingface, por ejemplo, BertConfig, necesitamos proporcionar un parámetro: numlabels. ¿Debo establecer numlabels en . . . Read more
Tengo un conjunto de datos en forma de (texto_de_entrada, incrustación_del_texto_de_entrada), donde incrustación_del_texto_de_entrada es una incrustación de dimensiones 512 producida por otro modelo (DistilBERT) cuando se proporciona como entrada el texto_de_entrada. Me gustaría ajustar BERT en este conjunto de datos de modo que aprenda a producir incrustaciones similares (es decir, una . . . Read more
Estoy utilizando PyTorch para entrenar un modelo de aprendizaje profundo. Me pregunto si es posible guardar por separado los pesos del modelo. Por ejemplo: class my_model(nn.Module): def __init__(self): super(my_model, self).__init__() self.bert = transformers.AutoModel.from_pretrained(BERT_PATH) self.out = nn.Linear(768,1) def forward(self, ids, mask, token_type): x = self.bert(ids, mask, token_type)[1] x = self.out(x) return . . . Read more
Necesito usar BERT en lugar de LSTM en este ejemplo. ¿Es posible reemplazar simplemente la palabra LSTM por BERT? inputs1 = Input(shape=(2048,)) fe1 = Dense(128, activation=’relu’)(inputs1) inputs2 = Input(shape=(max_length,)) se1 = Embedding(vocab_size, 256, mask_zero=True)(inputs2) se2 = LSTM(256)(se1) se3 = Dropout(0.5)(se2) decoder1 = Concatenate()([fe1, se3]) decoder2 = Dense(128, activation=’relu’)(decoder1) outputs = . . . Read more