Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo un grafo dirigido acíclico creado por los usuarios, donde cada nodo (vértice) del grafo representa una operación a realizar en algunos datos. Las salidas de un nodo dependen de sus entradas (obviamente), y esas entradas las proporcionan sus padres. Luego, las salidas se pasan a sus hijos. Se garantiza . . . Read more
Tengo un DAG no ponderado y estoy tratando de encontrar la longitud del camino más largo desde cualquier vértice de mi gráfico. Encontré esto: https://www.geeksforgeeks.org/find-longest-path-directed-acyclic-graph/ Pero parece estar más enfocado en un gráfico ponderado. ¿Cómo debería modificar ese código para que funcione en un gráfico no ponderado y así solo . . . Read more
Quiero tener el último archivo depositado en un bucket de GCS en python para usarlo en mi DAG. Cada día se depositan archivos en el bucket: gs://nombre/neth en formato archivoyymmdd.
Actualmente utilizo el siguiente operador BigQuery en airflow: s10_test = bigquery.BigQueryInsertJobOperator( task_id=”10_test”, configuration={ “query”: { “query”: “SELECT CURRENT_DATE”, “useLegacySql”: False, } }, ) Me gustaría evitar especificar useLegacySql en cada tarea y simplemente pasar este parámetro como argumento predeterminado. ¿Se requiere alguna sintaxis especial para los argumentos anidados?
Estoy utilizando GCP Cloud Composer y tengo una instancia de Airflow y un DAG. Los argumentos predeterminados del DAG son los siguientes: # Define the default arguments for the DAG. default_args = { # If the start date is set to yesterday, Cloud Composer schedules the workflow to start immediately . . . Read more