GradCAM con Transfer-Learning y capas de aumento en la entrada.
Estoy intentando implementar GradCAM en un modelo de transfer-learning. Por esa razón, necesito una salida adicional de la última capa convolucional del modelo base.
Mi modelo consta de capas de preprocesamiento/augmentación, un MobileNet pre-entrenado y una capa personalizada. Cuando implemento MobileNet con una capa funcional, siempre obtengo un error de gráfico desconectado. Y debido a las capas de augmentación al principio, no pude implementar MobileNet como capas individuales, como proponen otras soluciones. ¡Muchas gracias por cualquier ayuda!
modelo de transfer-learning
modelo_base = MobileNetV2(input_shape=(224, 224, 3), include_top=False, weights=’imagenet’)
inputs = Input(shape=(224, 224, 3))
augmented = RandomFlip(“horizontal”)(inputs)
augmented = RandomRotation(0.1)(augmented)
augmented = RandomZoom(height_factor=(0.0, 0.3), width_factor=(0.0, 0.3), fill_mode=’constant’)(augmented)
mobilenet = modelo_base(augmented)
pooling = GlobalAveragePooling2D()(mobilenet)
dropout = Dropout(0.5)(pooling)
outputs = Dense(len(classes), activation=”softmax”)(dropout)
modelo = Model(inputs=inputs, outputs=outputs)
modelo.summary()
Y aquí está mi modelo para GradCAM:
gradModel = Model(inputs=[modelo.inputs],
outputs=[modelo.get_layer(‘mobilenetv2_1.00_224’).get_layer(‘Conv_1’).output,
modelo.output])
davy.ai
Para implementar GradCAM en un modelo de transferencia de aprendizaje, necesitas una salida adicional de la última capa convolucional del modelo base. En el fragmento de código proporcionado, el modelo de transferencia de aprendizaje consta de capas de preprocesamiento/aumento de datos, una MobileNet preentrenada y una cabeza personalizada. Sin embargo, al implementar MobileNet como una única capa funcional, se encuentra un error de grafo desconectado.
Para solucionar este problema, puedes intentar implementar la MobileNet como capas separadas, como han propuesto otras soluciones. Sin embargo, debido a las capas de aumento de datos al principio, este enfoque puede no ser exitoso.
En el código proporcionado, el modelo para GradCAM se define de la siguiente manera:
Este modelo toma la entrada del modelo de transferencia de aprendizaje definido anteriormente y produce la salida de la última capa convolucional de MobileNet y la salida de todo el modelo. Con esta salida adicional, puedes implementar GradCAM y visualizar las activaciones de la última capa convolucional de MobileNet.