es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Optimización/Vaciado de la tabla Delta

25 Jul, 2023 Programación

Tengo archivos siendo escritos por un trabajo de Kubernetes (ejecutándose localmente) en un contenedor de ADLS gen2 en forma de tabla Delta (Spark en Kubernetes, lo cual me ayuda a escribir tablas delta en ADLS).

Los archivos son numerosos y fluyen cada hora (archivos pequeños y grandes) y queremos optimizar/vaciar la tabla delta.

¿Existe una forma automática/configuración con la cual podamos optimizar y vaciar automáticamente la tabla delta?

He leído este artículo (https://learn.microsoft.com/en-us/azure/databricks/delta/optimizations/auto-optimize) sobre la optimización automática, pero aún no está claro si esto puede ayudarme.

Gracias,
Rahul Kishore

Tags:  ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Hola Rahul,

    Sí, existe una forma automática de optimizar y compactar una tabla Delta en un contenedor ADLS Gen2. Delta Lake proporciona una función de optimización automática que se activa según el tamaño de la tabla y el tiempo transcurrido desde la última optimización.

    Puedes configurar la tabla delta para que se optimice automáticamente con una frecuencia determinada mediante la opción delta.autoOptimize. Puedes configurar delta.autoOptimize.optimizeWrite en true, lo que optimizará automáticamente la tabla delta después de un número especificado de operaciones de escritura o intervalo de tiempo. De manera similar, puedes configurar delta.autoOptimize.autoCompact en true, lo que compactará automáticamente los archivos pequeños en la tabla delta.

    Por ejemplo, el siguiente fragmento de código optimizará la tabla delta después de cada 10 operaciones de escritura:

    df.write.format("delta").option("delta.autoOptimize.optimizeWrite", "10").mode("append").save("adl://<your_adls_gen2_container>")

    Nota: La configuración de delta.autoOptimize es una configuración a nivel de clúster que se aplica a todas las tablas Delta en el clúster. Por lo tanto, es importante configurarlo de acuerdo a tu caso de uso y capacidad de almacenamiento.

    También puedes programar una tarea de forma regular para ejecutar el comando VACUUM y eliminar los datos innecesarios de la tabla Delta.

    ¡Espero que esto te ayude!

    Saludos cordiales,

    [Tu nombre]

Comments are closed.