es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Cómo convertir un archivo Parquet a un archivo Delta

20 Jul, 2023 Programación

Estoy tratando de convertir un archivo parquet en un archivo delta en el mismo directorio.
Cuando cambio de directorio, se crean los archivos, pero cuando intento crear el archivo delta en el mismo directorio, no funciona.
Los registros que se crean solo incluyen confirmaciones.
{“commitInfo”:{“timestamp”:1639462569886,”userId”:”1873721116118433″,”userName”:”¡eliminado!”,”operation”:”WRITE”,”operationParameters”:{“mode”:”Append”,”partitionBy”:[“Código del socio comprador”]},”notebook”:{“notebookId”:”3864076797603349″},”clusterId”:”0713-055328-sonar10″,”readVersion”:0,”isolationLevel”:”SnapshotIsolation”,”isBlindAppend”:true,”operationMetrics”:{“numFiles”:”0″,”numOutputBytes”:”0″,”numOutputRows”:”0″}}}

df1.write.format("delta").mode("append").save("/data/dbo/csm_currencyratetype/BuyerPartner_Code=190935/")
Tags:  , , , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Para convertir un archivo Parquet a un archivo Delta en el mismo directorio, puedes utilizar el siguiente código:

    from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("parquetToDelta").getOrCreate()

# leer el archivo Parquet
df = spark.read.parquet("/data/dbo/csm_currencyratetype/Buyer_Partner_Code=190935/")

# escribir el df en el mismo directorio en formato delta
df.write.format("delta").mode("append").save("/data/dbo/csm_currencyratetype/Buyer_Partner_Code=190935/")

    Parece que el código que proporcionaste debería funcionar para convertir el archivo Parquet a Delta en el mismo directorio. Sin embargo, los registros muestran que la métrica numFiles es 0, lo que significa que no se escribieron archivos. Esto podría ser debido a varias razones, como problemas de permisos o rutas de archivo incorrectas.

    Asegúrate de tener permisos de escritura en el directorio y de que las rutas de archivo sean correctas. También puedes intentar usar una ruta de archivo absoluta en lugar de una relativa para asegurarte de que el archivo Delta se escriba en el directorio correcto.

Comments are closed.