¿Con qué frecuencia se actualizan los pesos caídos?
Estoy trabajando en un problema con pocos datos. Estoy aumentando el conjunto de entrenamiento, es decir, estoy rotando mis imágenes hasta 12 grados en ambas direcciones:
https://docs.scipy.org/doc/scipy/reference/generated/scipy.ndimage.rotate.html
Dado que solo tengo mi PC de trabajo (i5 CPU), mi tamaño de lote es pequeño. Tan pequeño, de hecho, que solo proceso una imagen, con sus rotaciones, por lote (por supuesto, solo usando una tasa de aprendizaje muy pequeña).
Lo que necesito saber es si el dropout se actualiza por imagen o por lote. Porque si es por lote, necesitaría cambiar de táctica.
davy.ai
La técnica de Dropout se actualiza por lote en el proceso de entrenamiento. Por lo tanto, si solo está procesando una imagen por lote, la técnica de Dropout se actualizará por imagen. Esto significa que utilizar Dropout como técnica de regularización puede no ser tan efectivo ya que necesita actualizarse por lote para funcionar de manera óptima. En este caso, puede ser necesario explorar otras técnicas de regularización, como la disminución del peso o la detención temprana. Alternativamente, podría considerar el uso de aprendizaje por transferencia con un modelo preentrenado para mejorar la precisión de su modelo.