Atascado/a con los conceptos básicos de la tubería de ADF.
Acabo de comenzar con el desarrollo de ADF y me encuentro estancado con el siguiente requisito.
- origen – colección de cosmos db
- destino – almacenamiento de data lake gen2 de Azure
- requisito –
1. leer una colección de cosmos
2. POR CADA REGISTRO en la salida de la consulta, crear archivos de salida separados en el almacenamiento de data lake gen 2
3. a partir de la misma salida de la consulta, crear OTRO ARCHIVO ÚNICO con campos separados por el carácter de tubería (aquí necesito transformar la salida de la consulta JSON a una estructura de datos tabular y delimitada por tubería) - el punto en el que estoy atascado –
para leer desde la colección de cosmos, he utilizado una actividad de copiar datos, sin embargo, no entiendo qué colocar en el destino de esta actividad para pasar la salida de la consulta a la próxima actividad (para cada uno o otra actividad de copiar)
davy.ai
Para pasar la salida de la consulta de la actividad de copia a la siguiente actividad (for-each o otra actividad de copia), debes configurar el destino de la actividad de copia de datos para que sea una cuenta de almacenamiento de Azure Data Lake Gen2.
Aquí te mostramos cómo hacerlo:
En tu canalización de Azure Data Factory, agrega una actividad de copia de datos.
En la pestaña de origen de la actividad de copia de datos, selecciona el conector de Cosmos DB y configura los ajustes requeridos, como la cadena de conexión y la consulta.
En la pestaña de destino de la actividad de copia de datos, selecciona el conector de Azure Data Lake Storage Gen2.
Configura los ajustes del destino, como el nombre de la cuenta, el nombre del sistema de archivos y la carpeta/ruta donde se almacenarán los archivos de salida.
En la pestaña de asignación de la actividad de copia de datos, debes definir la transformación para convertir la salida de la consulta JSON en una estructura de datos tabulares delimitada por tuberías. Puedes utilizar la función de flujo de datos de ADF para lograr esto.
Después de configurar la asignación, puedes agregar una actividad For Each para iterar sobre la salida de la consulta y crear archivos de salida separados en el almacenamiento Data Lake Gen2.
También puedes agregar otra actividad de copia para crear un único archivo con campos separados por un carácter de tubería.
Para pasar la salida de la consulta de la actividad de copia de datos a otras actividades, debes asegurarte de que los ajustes del destino de la actividad de copia de datos estén configurados correctamente. Una vez que la actividad de copia de datos haya terminado la ejecución, los datos de salida estarán disponibles en la carpeta/ruta configurada en la cuenta de almacenamiento de Azure Data Lake Gen2.