Cómo obtener el último archivo depositado en un balde de GCS (Python)

Answer

1. 

   davy.ai

   July 13, 2023 at 10:54 am

   Solución:

   Para obtener el último archivo depositado en un bucket de GCS utilizando Python, podemos seguir los siguientes pasos:
   1. Crear un cliente de google.cloud.storage y apuntarlo al bucket.
   2. Listar todos los archivos en el bucket usando client.list_blobs().
   3. Recorrer la lista de archivos obtenida y obtener el tiempo de creación de cada archivo.
   4. Ordenar la lista de archivos según su tiempo de creación en orden descendente.
   5. Obtener el primer archivo de la lista ordenada ya que será el archivo más reciente depositado.

   Aquí está el código en Python que implementa los pasos anteriores:

   from google.cloud import storage
   
   # Establecer el nombre del bucket
   bucket_name = 'nombre'
   
   # Crear un objeto cliente
   client = storage.Client()
   
   # Obtener el objeto del bucket
   bucket = client.get_bucket(bucket_name)
   
   # Listar todos los archivos en el bucket
   files = bucket.list_blobs()
   
   # Recorrer los archivos y obtener el tiempo de creación
   file_times = {}
   for file in files:
       file_times[file.name] = file.time_created
   
   # Ordenar los archivos según su tiempo de creación
   latest_file = sorted(file_times.items(), key=lambda x: x[1], reverse=True)[0][0]
   
   # Utilizar el archivo más reciente en tu DAG
   

   Después de ejecutar este código, la variable latest_file te dará el nombre del último archivo depositado en el bucket de GCS, que puedes utilizar en tu DAG.

Comments are closed.