Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estaba intentando escribir un código personalizado en Python en el complemento de transformación Python en Data Fusion. Intenté ejecutar el código de ejemplo en la documentación e incluso creé datos de muestra para que coincidan con la documentación. Parece que el complemento arroja este error: Error encontrado mientras se configura . . . Read more
Tengo un pipeline que hace una solicitud a una API. Y me gustaría parametrizar las marcas de tiempo de inicio y fin en la URL dentro del complemento http. La marca de tiempo de fin es -2 horas desde la ejecución, por lo que sería fácil usar una macro con . . . Read more
Necesito activar un pipeline de Data Fusion ubicado en un proyecto de GCP llamado myDataFusionProject a través de un operador Data Fusion (CloudDataFusionStartPipelineOperator) dentro de un DAG cuya instancia de Cloud Composer se encuentra en otro proyecto llamado myCloudComposerProject. He utilizado la documentación oficial y también el código fuente para . . . Read more
Estoy construyendo un proceso de ETL basado en llamadas REST API para obtener información transaccional de PayPal. Para hacerlo, utilizo el complemento HTTP en Data Fusion en GCP. PayPal utiliza la paginación y establece el límite máximo de 500 transacciones por página. Para obtener resultados de otra página, necesito proporcionar . . . Read more
Tengo un problema cuando intento implementar una canalización secundaria, el error que recibo en los registros es el siguiente: La tarea PROVISION falló en el estado REQUESTING_CREATE para la ejecución del programa programa_ejecución: default.ListaNomi1_v3.-SNAPSHOT.workflow.DataPipelineWorkflow.182bbf2c-576b-11ec-8095-da8d4f8ab0b3 debido a un fallo en la operación de Dataproc: INVALID_ARGUMENT: Múltiples errores de validación: – Cuota . . . Read more