Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo una instancia de CDAP data fusion local con múltiples espacios de nombres. ¿Cómo puedo activar la canalización utilizando operadores de airflow? He intentado explorar los operadores disponibles de airflow y esta página, pero no es muy útil: https://cloud.google.com/data-fusion/docs/reference/cdap-reference#startabatch_pipeline.
Entonces, como el título, estoy tratando de leer de una base de datos seguidora de PostGres utilizando Google Cloud Data Fusion para poder canalizarlo a BigQuery. Sigo encontrando el problema. 01/04/2022 0:28:52 INFO El pipeline ‘2bf2d105-6d1f-11ec-9f9d-7ee8fe64661a’ es iniciado por el usuario ‘root’ con los argumentos {isolationLevel=READ_COMMITTED, logical.start.time=1641274129122, system.profile.name=SYSTEM:dataproc, default_transaction_isolation=repeatable read, . . . Read more
Quiero realizar la operación upsert antes de escribir en PostgreSQL en Cloud Data Fusion, puedo escribir fácilmente con el complemento sink pero no puedo encontrar cómo puedo hacer la actualización si el valor ya existe, gracias.
Ya tengo un flujo de trabajo funcional en Data Fusion que realiza todo el proceso de ETL, pero necesito que solo se ejecute cuando encuentre un archivo llamado SUCCESS.txt ubicado en un bucket de almacenamiento en la nube. ¿Esto es posible? En otras plataformas solía utilizar un observador de archivos . . . Read more
Estoy ejecutando un pipeline ETL a través de Google Cloud Data Fusion. Un resumen rápido de las acciones del pipeline: Tomar un archivo csv que es una lista de nombres Tomar una tabla de bigquery-public-data Unir las dos y luego exportar los resultados a una tabla También exportar los resultados . . . Read more