Cómo cambiar el nivel de compresión ZSTD para archivos escritos a través de Spark?
Se establece que el nivel de compresión predeterminado de zstd es 1 en la documentación de Spark. https://spark.apache.org/docs/latest/configuration.html Configuré esta propiedad a diferentes valores tanto en el archivo spark-defaults.conf, y dentro del código como val conf = new SparkConf(false) conf.set("spark.io.compression.zstd.level", "22") val spark = SparkSession.builder.config(conf).getOrCreate() .. La lectura de la . . . Read more