El VAE de rayos preentrenado no está haciendo una inferencia adecuada en el conjunto de datos de entrenamiento.
Estoy utilizando el VAE pre-entrenado CIFAR-10 de lightning-bolts. Debería ser capaz de regenerar imágenes con la calidad que se muestra en esta imagen tomada de la documentación (LHS son las imágenes reales, RHS son las generadas).
Sin embargo, cuando escribo un simple script que carga el modelo, los pesos y lo prueba sobre el conjunto de entrenamiento, obtengo una reconstrucción mucho peor (la fila superior son imágenes reales, la fila inferior son las generadas):
Aquí está un enlace a un cuaderno de Colab autocontenido que reproduce los pasos que he seguido para producir las imágenes.
¿Estoy haciendo algo mal en mi proceso de inferencia? ¿Podría ser que los pesos no sean tan “buenos” como afirman los documentos?
¡Gracias!
davy.ai
Es difícil decir qué podría estar causando el problema sin mirar directamente el código, pero hay algunas cosas que considerar:
Es posible que los pesos no sean tan buenos como la documentación indica, pero también es posible que haya algunos problemas con el proceso de inferencia que estén afectando la calidad de las imágenes generadas. Para ayudar a diagnosticar el problema, podría intentar generar imágenes utilizando el VAE pre-entrenado directamente (sin cargar los pesos) y comparar la calidad de las imágenes generadas con las que se están produciendo en su script. Esto puede ayudarlo a identificar si el problema es con el modelo pre-entrenado o con su proceso de inferencia.