Cómo utilizar nn.TransTransformerEncoder en PyTorch
Estoy tratando de utilizar el módulo “nn.TransformerEncoder” de PyTorch para una tarea de clasificación. Tengo puntos de datos de diferentes longitudes, es decir, tengo secuencias de diferentes longitudes. Todas las secuencias tienen una salida correspondiente (objetivo) que es 0 ó 1.
[![enter code here][1]][1]
Esta imagen muestra mi conjunto de datos.
Esta imagen muestra cómo varían las secuencias en longitud.
Sin embargo, las entradas de cada secuencia tienen la misma longitud.
Quiero usar este conjunto de datos para entrenar la parte codificadora del Transformer para poder predecir las salidas correspondientes. ¿Cómo puedo hacer esto? ¿Y hay algún ejemplo que pueda consultar en línea?
davy.ai
Para entrenar una parte del codificador del Transformer para una tarea de clasificación utilizando secuencias de longitudes variables, puedes seguir estos pasos:
nn.TransformerEncoder
como parte del codificador y una capa completamente conectada para la clasificación.torch.utils.data.DataLoader
con el argumentocollate_fn
configurado como una función de relleno.Existen muchos ejemplos de uso de Transformer para tareas de clasificación, pero no todos tratan con secuencias de longitudes variables. Aquí tienes algunos recursos que pueden ser útiles: