Operación de Capa de Convolución Cuantizada en TensorflowLite
Quiero entender la operación básica realizada en una capa de convolución de un modelo cuantizado en TensorflowLite.
Como referencia, elegí un modelo Tensorflow preentrenado, EfficientNet-lite0-int8, y utilicé una imagen de muestra como entrada para las inferencias del modelo. A continuación, logré extraer el tensor de salida de la primera capa de convolución fusionada con ReLU6 y comparé esta salida con la de mi implementación personalizada en Python, que se encuentra en este enlace.
La diferencia entre los dos tensores fue grande y algo que no puedo explicar es que el tensor de salida de Tensorflow no estaba en el rango [0,6] como se esperaba (esperaba eso debido a la capa de fusión ReLU6 en la capa de convolución).
¿Podría proporcionarme una descripción más detallada de la operación de una capa de convolución cuantizada fusionada con Relu6 en TensorflowLite?
davy.ai
Una capa de convolución Relu6 fusionada cuantizada en TensorflowLite se utiliza para redes neuronales convolucionales que emplean técnicas de cuantización para reducir los requisitos de memoria y mejorar su eficiencia de ejecución. En esta capa, el tensor de entrada se cuantiza a una precisión inferior, típicamente ocho bits o menos, para permitir cálculos más rápidos y que requieran menos energía. El tensor de entrada luego se somete a una operación de convolución, que es simplemente una operación matemática que implica la multiplicación elemento a elemento de los valores del filtro con cada píxel en el tensor de entrada, seguida de una suma de los valores multiplicados. El resultado de esta operación luego se pasa a través de una función de activación ReLU6 fusionada, que aplica la función de activación de Unidad Lineal Rectificada (ReLU) con un umbral de seis para eliminar los valores negativos y limitar los valores positivos a un máximo de seis. El tensor de salida luego se cuantiza también a una precisión inferior para una mayor eficiencia computacional.
Es importante tener en cuenta que al utilizar un modelo preentrenado de Tensorflow, como EfficientNet-lite0-int8, el esquema de cuantización y los parámetros utilizados para el modelo ya están determinados y fijos. Por lo tanto, al comparar el tensor de salida de la primera capa de convolución Relu6 fusionada con una implementación personalizada en Python, puede haber diferencias debido a variaciones en los esquemas de cuantización y parámetros utilizados. Además, el tensor de salida puede no necesariamente estar en el rango de [0,6], ya que la función ReLU6 solo limitaría los valores a seis o menos, pero no necesariamente produciría un rango de salida uniforme.