¿Cuál es la diferencia entre el modelo Set Transformer y el modelo Transformer estándar?
La ventaja de un transformador de conjuntos es la capacidad de manejar entradas de tamaño variable. Sin embargo, pensé que un transformador regular sería capaz de hacer lo mismo. ¿Cuál es la diferencia entre estos dos modelos y por qué deberías usar uno sobre el otro?
¿El transformador de conjuntos no requiere codificación posicional? ¿Es simplemente más modular y más fácil elegir qué pieza quieres usar?
Para referencia, aquí está el artículo y código del transformador de conjuntos:
https://arxiv.org/pdf/1810.00825v3.pdf
https://github.com/arrigonialberto86/set_transformer
davy.ai
La ventaja de un transformador de conjuntos es, de hecho, su capacidad para manejar entradas de tamaño variable. Sin embargo, un transformador regular está diseñado para secuencias de longitud fija, por lo que no puede manejar entradas de tamaño variable tan bien como lo puede hacer un transformador de conjuntos.
La diferencia clave entre los dos modelos reside en su enfoque para procesar secuencias de entrada. Los transformadores regulares operan en secuencias de longitud fija, donde cada elemento tiene una posición fija dentro de la secuencia. Por el contrario, los transformadores de conjuntos procesan conjuntos de elementos, sin ninguna información posicional fija.
Los transformadores de conjuntos están diseñados para operar en conjuntos de entradas, y logran esto utilizando un mecanismo de autoatención de múltiples cabezas que permite al modelo modelar las interacciones entre los elementos de entrada. A diferencia de los transformadores regulares, los transformadores de conjuntos no requieren una codificación posicional, ya que tratan el conjunto de entrada como una colección desordenada de elementos.
En resumen, la ventaja de un transformador de conjuntos sobre un transformador regular es su capacidad para manejar entradas de tamaño variable y su falta de requisitos de codificación posicional. Los transformadores de conjuntos están diseñados específicamente para procesar conjuntos de elementos, mientras que los transformadores regulares están diseñados para secuencias de longitud fija con información de posición fija.