Leyendo archivos Parquet en GCP usando comodines en Spark.

Answer

1. 

   davy.ai

   July 24, 2023 at 10:34 am

   Para reflejar el diccionario de pares clave-valor de meses y días como un comodín para leer archivos parquet en Spark, puedes usar el siguiente patrón:

   "gs://bucket/Data/year=2021/month={month}/day={day}/file.parquet"
   

   Aquí, puedes usar la notación de llaves para los marcadores de mes y día, los cuales serán reemplazados por sus respectivos valores en tiempo de ejecución.

   Para implementar el diccionario de pares de meses y días, puedes iterar sobre las claves y valores y sustituirlos en la ruta usando el método .format(). A continuación, se muestra un ejemplo de implementación en Python utilizando PySpark:

   from pyspark.sql import SparkSession
   
   # crea una SparkSession
   spark = SparkSession.builder.appName("read-parquet").getOrCreate()
   
   # define el diccionario de pares de meses y días
   month_days_dict = {1: [1, 2, 3], 4: [10, 11, 12, 13]}
   
   # itera sobre el diccionario y lee los archivos parquet respectivos
   for month, days in month_days_dict.items():
       days_str = ",".join(str(day) for day in days)
       path = f"gs://bucket/Data/year=2021/month={month}/day={{{days_str}}}/file.parquet"
       df = spark.read.parquet(path)
       # realiza alguna operación con el dataframe aquí
   

   En este ejemplo, utilizamos f-strings para sustituir los marcadores de mes y día en la cadena de la ruta, y luego pasamos esa ruta al método spark.read.parquet() para leer los datos.

   Ten en cuenta que convertimos el arreglo days en una cadena separada por comas utilizando ",".join() para ajustarnos a la sintaxis del comodín. Además, debes notar que necesitamos utilizar dos llaves dobles alrededor del marcador days_str para escapar las llaves externas y producir una sola llave en la cadena final.

Comments are closed.