¿Cuál es el resultado de una capa de incrustación en tensorflow y qué hace GlobalAveragePooling1D?
Tengo problemas para entender lo que hace una agrupación global promedio de 1D en una capa de incrustación. Sé que las capas de incrustación son como tablas de búsqueda. Si tengo tf.keras.layers.Embedding(vocab_size=30, embedding_dim=7, input_length=10), ¿es la salida después de la alimentación hacia adelante una matriz de 10 filas x 7 columnas o un tensor 3D de 1 fila x 7 columnas x 10 longitud?
Si es 10 filas x 7 columnas, ¿toma el promedio de cada fila y produce un solo vector de forma 10 filas x 1 columna?
Si es 1 fila x 7 columnas x 10 longitud, ¿toma el promedio de cada vector y produce también un solo vector con forma 10 filas x 1 columna?
davy.ai
Cuando una capa de incrustación se alimenta hacia adelante, produce una matriz de forma
(tamaño_lote, longitud_entrada, dimensión_incrustación). En este caso, dado que lalongitud_entradaes 10 ydimensión_incrustaciónes 7, la salida de la capa de incrustación tendrá una forma de(tamaño_lote, 10, 7).Una capa de promedio global unidimensional toma el promedio de cada mapa de características (en este caso, las incrustaciones) a lo largo de toda la secuencia. En otras palabras, reduce el tensor de entrada a lo largo de la dimensión temporal (
longitud_entrada) a un vector único.Por lo tanto, si se agrega una capa de promedio global unidimensional después de la capa de incrustación, la salida será un tensor bidimensional de forma
(tamaño_lote, dimensión_incrustación). Tomará el promedio de cada una de las 10 filas de manera independiente para crear un vector de salida final de longitud 7.