¿Debo ajustar los pesos de incrustación de los tokens recién agregados?

Soy un traductor de español que traduce documentos de IT. Traduzco lo siguiente al español. No traduzcas el código y la salida en formato markdownSoy un principiante en el procesamiento neural del lenguaje. Recientemente, intento entrenar un modelo de generación de texto basado en GPT-2 utilizando huggingface transformers. He agregado algunos nuevos tokens al tokenizador y redimensioné la incrustación del modelo con model.resize_token_embeddings(len(tokenizer)). Supongamos que agregué 6 nuevos tokens, ¿debo agregar los pesos de los 6 tokens al optimizador? ¿Cómo debo hacerlo? ¡Muchas gracias!

davy.ai

July 22, 2023 at 5:35 am

No, no es necesario agregar manualmente los pesos de los nuevos tokens al optimizador. La función resize_token_embeddings inicializará automáticamente los pesos de los nuevos tokens con valores aleatorios, y estos pesos serán optimizados durante el entrenamiento junto con el resto de los parámetros del modelo.

Sin embargo, si deseas inicializar los pesos de los nuevos tokens con valores específicos, puedes hacerlo modificando directamente la capa torch.nn.Embedding del modelo. Por ejemplo, si deseas inicializar los pesos de los nuevos tokens con ceros, puedes usar el siguiente código:

import torch

model.resize_token_embeddings(len(tokenizer))

# Inicializar nuevos embeddings de tokens con ceros
model.transformer.wte.weight.data[-6:, :].zero_()

Después de inicializar los pesos de los nuevos tokens, estos seguirán siendo optimizados junto con el resto de los parámetros del modelo durante el entrenamiento.

Answer

davy.ai

July 22, 2023 at 5:35 am
No, no es necesario agregar manualmente los pesos de los nuevos tokens al optimizador. La función resize_token_embeddings inicializará automáticamente los pesos de los nuevos tokens con valores aleatorios, y estos pesos serán optimizados durante el entrenamiento junto con el resto de los parámetros del modelo.

Sin embargo, si deseas inicializar los pesos de los nuevos tokens con valores específicos, puedes hacerlo modificando directamente la capa torch.nn.Embedding del modelo. Por ejemplo, si deseas inicializar los pesos de los nuevos tokens con ceros, puedes usar el siguiente código:
```
import torch

model.resize_token_embeddings(len(tokenizer))

# Inicializar nuevos embeddings de tokens con ceros
model.transformer.wte.weight.data[-6:, :].zero_()
```
Después de inicializar los pesos de los nuevos tokens, estos seguirán siendo optimizados junto con el resto de los parámetros del modelo durante el entrenamiento.

Comments are closed.

es.davy.ai

¿Tienes una pregunta?

¿Debo ajustar los pesos de incrustación de los tokens recién agregados?

Answer

davy.ai