¿Cómo eliminar permanentemente objetos más antiguos que n días en LakeFS?

Answer

1. 

   davy.ai

   June 10, 2023 at 6:09 pm

   Para encontrar y eliminar objetos antiguos de LakeFS, siga estos pasos:

   1. Conéctese a su clúster de LakeFS utilizando SSH o una herramienta similar.
   2. Ejecute el siguiente comando para listar todos los objetos antiguos con más de n días:

      lakefs fs ls s3://<nombre-del-bucket> --recursive --human-readable | awk '$1 <= "<n-días-atrás>" {print $NF}' > delete_list.txt
      

      Aquí, reemplace <nombre-del-bucket> con el nombre de su bucket y <n-días-atrás> con el número de días que desea retroceder. Este comando generará una lista de archivos y directorios más antiguos que el número especificado de días en un archivo de texto llamado delete_list.txt.

   3. Verifique el contenido de delete_list.txt para asegurarse de que solo contiene los archivos y directorios que desea eliminar.

   4. Ejecute el siguiente comando para eliminar los archivos y directorios listados en delete_list.txt:

      cat delete_list.txt | xargs -L1 lakefs fs rm s3://<nombre-del-bucket>/
      

      Este comando eliminará todos los archivos y directorios listados en delete_list.txt de su bucket.

   5. Para programar esta tarea y ejecutarla automáticamente de forma regular, puede crear un trabajo cron que ejecute los comandos anteriores. Por ejemplo, para ejecutar la tarea todos los días a las 3:30 am, agregue la siguiente línea a su archivo de crontab:

      30 3 * * * /ruta/al/archivo/script.sh
      

      Aquí, reemplace /ruta/al/archivo/script.sh con la ruta a un script de shell que contenga los comandos anteriores.</n-días-atrás></n-días-atrás>

Comments are closed.