Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
He escrito un programa simple de flujo de datos que toma una entrada de un tema de pub/sub y calcula el número de fibanacci para ese entero. Sin embargo, mi DoFn no es capaz de hacer pickle de la función personalizada fibonacci, lo cual me está dando errores cuando se . . . Read more
Estoy tratando de ejecutar un trabajo en Airflow que ejecuta un trabajo de flujo de datos. Me di cuenta de que hay 2 Operadores, que son BeamRunPythonPipelineOperator y DataFlowPythonOperator, ambos operadores pueden enviar trabajos a dataflow, pero tengo dudas sobre la diferencia entre ellos. ¿Hay alguna diferencia entre ellos? Por . . . Read more
Tengo un escenario para suscribirme desde un tema de Pubsub, leer la carga útil y publicarla de nuevo en otro tema de PubSub con un atributo adicional basado en la carga útil. No pude encontrar ejemplos para poblar atributos personalizados. ¿Alguien puede ayudar con las opciones o un ejemplo? pipeline.apply( . . . Read more
A continuación se muestra el texto que se está registrando. Necesito encriptar la cadena (Numbermr) para que no se muestre el valor en los registros como texto plano. ¿Alguna idea de cómo encriptar esta cadena (Numbermr) en Java utilizando Google Cloud KMS? /** * Para registrar datos */ public void . . . Read more
DirectRunner hace el trabajo sin problemas, pero Dataflow falla consistentemente porque no puede eliminar y luego no puede renombrar archivos temporales. Este es el mismo código exacto, mismo bucket, solo cambié los runners: public static DataflowPipelineOptions setOptions() { List experiments = new ArrayList(); // experiments debe ser una lista MUTABLE . . . Read more