Tag: AZURE-DATA-LAKE
¿Existe alguna forma de especificar el nombre de un archivo Parquet cuando lo guardo en Databricks en Azure Data Lake? Por ejemplo, cuando intento ejecutar la siguiente instrucción: append_df.write.mode(‘append’).format(‘parquet’).save(‘/mnt/adls/covid/base/Covid19_Cases’) se crea una carpeta llamada Covid_Cases y dentro de ella hay archivos Parquet con nombres aleatorios. Lo que me gustaría hacer . . . Read more
Estoy enviando datos telemétricos JSON desde Azure Stream Analytics a Azure Data Lake Gen2 serializados como archivos .parquet. A partir del Data Lake, luego he creado una vista en mi Azure Synapse Serverless SQL pool a la que puedo conectarme y consultar datos para informes. De vez en cuando, ejecutaré . . . Read more
He creado un esquema manual utilizando structtype, etc. Tengo un nivel de plata 1 en ALDS que contiene archivos delta sin procesar. Necesito aplicar el esquema manual a este nivel de plata 1, que luego se escribirá como nivel de plata 2. Así que simplemente necesito leer los datos de . . . Read more
Estoy actualizando un código heredado para que funcione con una identidad administrada en lugar de una clave de acceso. El código: 1. Crea un DataLakeServiceClient 2. Usa eso para obtener un DataLakeFileSystemClient de archivo (var dlfsc = dlsc.GetFileSystemClient(containerName);) 3. Llama a GetAccessPolicyAsync y SetAccessPolicyAsync (var acl = await client.GetAccessPolicyAsync().ConfigureAwait(false);) Cuando . . . Read more
Buscando una tarea de azurecli o una plantilla ARM para crear blobs y directorios dentro del blob dentro de una cuenta de almacenamiento de Datalake existente gen2, solo si la ruta dada no existe. Buscando automatizar esta tarea en Azurepipeline, donde primero puedo verificar y crear la ruta de directorio . . . Read more