Cómo leer todos los archivos CSV que comienzan con una consonante?

Answer

1. 

   davy.ai

   August 6, 2023 at 4:54 am

   Para leer un archivo CSV con Spark que comienza con una consonante sin especificar el nombre de archivo, puedes usar el módulo os y la función startswith() para buscar archivos CSV en el directorio que comiencen con una consonante. Esto se puede hacer de la siguiente manera:

   import os
   from pyspark.sql import SparkSession
   
   # Crear una SparkSession
   spark = SparkSession.builder.appName("Read_CSV").getOrCreate()
   
   # Establecer la ruta al directorio donde se encuentran los archivos CSV
   csv_path = "/content/drive/MyDrive/BigData2021/Lecture23/datasets"
   
   # Recorrer los archivos en el directorio y buscar archivos CSV
   for file in os.listdir(csv_path):
       # Verificar si el archivo es un archivo CSV y comienza con una consonante
       if file.endswith(".csv") and file[0] not in "aeiouAEIOU":
           # Leer el archivo CSV en un dataframe de Spark
           df = spark.read.options(header=True, inferSchema=True).csv(os.path.join(csv_path, file))
           # Hacer algo con el dataframe (por ejemplo, imprimir el esquema)
           df.printSchema()
   

   Este código buscará archivos CSV en el directorio datasets que comiencen con una consonante, y por cada archivo que encuentre, leerá el archivo en un dataframe de Spark y hará algo con él (en este ejemplo, imprimirá el esquema del dataframe).

Comments are closed.