Aumento del consumo de almacenamiento de 60 veces en Azure ADLS Gen2 en un plazo de 10 días.

11 Jul, 2023 Programación 0

El consumo de almacenamiento en nuestro ADLS Gen2 aumentó de 5 TB a 314 TB en 10 días y se ha mantenido estable desde entonces. Solo hay 2 contenedores: el contenedor $logs y un contenedor con todos los directorios para el almacenamiento de datos. El contenedor $logs parece estar vacío. He intentado ver las Estadísticas de carpeta en Azure Storage Explorer en el otro contenedor y no parece que ninguno de los directorios sea lo suficientemente grande.

Curiosamente, uno de los directorios estaba ejecutando las Estadísticas de carpeta durante algunas horas, por lo que lo cancelé. Al cancelarlo, los resultados parciales mostraban más de 200 TB y más de 88.000 blobs en él. Hice una inspección visual del directorio y solo había un puñado de blobs que apenas sumaban 1 GB. Este directorio había estado presente durante meses sin problemas. De todos modos, eliminé este directorio y revisé el consumo de almacenamiento después de unas horas, pero no se veía ningún cambio.

Esto plantea algunas preguntas:

Si cancelo unas Estadísticas de carpeta en curso, ¿podría mostrar un resultado parcial incorrecto (en el caso anterior mostró 200 TB cuando en realidad parecía apenas 1 GB)? Lo he hecho en ocasiones anteriores, pero incluso las estadísticas parciales parecían factibles.
1. ¿Podría haber blobs ocultos en ADLS Gen2 que no se muestren en la inspección visual? (Tengo acceso de lectura, escritura y eliminación, si eso importa)
2. He ejecutado Estadísticas de carpeta en Azure Storage Explorer para todas las carpetas individualmente. Pero ¿hay una mejor forma de obtener el consumo de almacenamiento de una sola vez (al menos clasificado por directorio y su nivel de subdirectorio, supongo que el nivel del blob sería excesivo pero cualquier cosa que funcione)? Tengo acceso a Databricks con punto de montaje a este contenedor y puedo crear un clúster con el tiempo de ejecución requerido si ese código es específico para uno.

Para referencia:

Análisis del incremento en el consumo de almacenamiento en ADLS Gen2

Información de fondo

El consumo de almacenamiento en ADLS Gen2 aumentó de 5 TB a 314 TB en 10 días y se ha mantenido constante desde entonces.

Solo hay 2 contenedores: $logs y un contenedor con todos los directorios para el almacenamiento de datos.

El contenedor $logs parece estar vacío.

Una inspección visual de los directorios no revela un uso significativo de almacenamiento.

Problemas y preguntas

Cancelar una “Estadística de carpeta” en curso podría mostrar un resultado parcial incorrecto, como se observó en el ejemplo donde mostró 200 TB cuando la inspección visual reveló solo 1 GB de datos. Esto podría deberse a un error en el sistema o a un error en la forma en que se recuperan e interpretan los datos. Se recomienda ejecutar nuevamente la “Estadística de carpeta” para verificar los resultados.

Podría haber blobs ocultos en ADLS Gen2 que no se muestran en la inspección visual. Esto podría deberse a diferentes razones como problemas de permisos, encriptación o compresión. Se recomienda verificar los permisos de los directorios y archivos y considerar el uso de una herramienta que pueda descubrir blobs ocultos.

Para obtener el consumo de almacenamiento de una sola vez y clasificado por directorio y sus subdirectorios, se puede utilizar Azure Data Factory o Azure Databricks. Azure Data Factory permite la creación de canalizaciones que pueden realizar diversas tareas, como copiar datos entre fuentes, transformar datos y monitorear datos. Azure Databricks permite la creación de clústeres Spark que pueden procesar grandes cantidades de datos y generar información. Se recomienda consultar a un experto en Azure para implementar la mejor solución para la situación.

Recomendaciones

Verificar los permisos de los directorios y archivos para asegurarse de que sean accesibles.

Considerar el uso de una herramienta que pueda descubrir blobs ocultos.

Ejecutar nuevamente la “Estadística de carpeta” para verificar los resultados.

Utilizar Azure Data Factory o Azure Databricks para obtener el consumo de almacenamiento de una sola vez y clasificado por directorio y sus subdirectorios.

Answer

davy.ai

July 11, 2023 at 11:39 pm
Análisis del incremento en el consumo de almacenamiento en ADLS Gen2

Información de fondo
- El consumo de almacenamiento en ADLS Gen2 aumentó de 5 TB a 314 TB en 10 días y se ha mantenido constante desde entonces.
- Solo hay 2 contenedores: $logs y un contenedor con todos los directorios para el almacenamiento de datos.
- El contenedor $logs parece estar vacío.
- Una inspección visual de los directorios no revela un uso significativo de almacenamiento.
Problemas y preguntas
1. Cancelar una “Estadística de carpeta” en curso podría mostrar un resultado parcial incorrecto, como se observó en el ejemplo donde mostró 200 TB cuando la inspección visual reveló solo 1 GB de datos. Esto podría deberse a un error en el sistema o a un error en la forma en que se recuperan e interpretan los datos. Se recomienda ejecutar nuevamente la “Estadística de carpeta” para verificar los resultados.
2. Podría haber blobs ocultos en ADLS Gen2 que no se muestran en la inspección visual. Esto podría deberse a diferentes razones como problemas de permisos, encriptación o compresión. Se recomienda verificar los permisos de los directorios y archivos y considerar el uso de una herramienta que pueda descubrir blobs ocultos.
3. Para obtener el consumo de almacenamiento de una sola vez y clasificado por directorio y sus subdirectorios, se puede utilizar Azure Data Factory o Azure Databricks. Azure Data Factory permite la creación de canalizaciones que pueden realizar diversas tareas, como copiar datos entre fuentes, transformar datos y monitorear datos. Azure Databricks permite la creación de clústeres Spark que pueden procesar grandes cantidades de datos y generar información. Se recomienda consultar a un experto en Azure para implementar la mejor solución para la situación.
Recomendaciones
- Verificar los permisos de los directorios y archivos para asegurarse de que sean accesibles.
- Considerar el uso de una herramienta que pueda descubrir blobs ocultos.
- Ejecutar nuevamente la “Estadística de carpeta” para verificar los resultados.
- Utilizar Azure Data Factory o Azure Databricks para obtener el consumo de almacenamiento de una sola vez y clasificado por directorio y sus subdirectorios.

Comments are closed.

es.davy.ai

¿Tienes una pregunta?