Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo tres DAGs (digamos, DAG1, DAG2 y DAG3). Tengo un programador mensual para DAG1. DAG2 y DAG3 no deben ejecutarse directamente (sin planificador para estos) y solo deben ejecutarse cuando DAG1 se complete correctamente. Es decir, una vez que DAG1 esté completo, DAG2 y DAG3 deberán comenzar en paralelo. ¿Cuál . . . Read more
Quiero truncar mi tabla de Redshift antes de cargar un archivo CSV en la tabla de Redshift. Error: airflow.exceptions.AirflowException: Se pasaron argumentos no válidos a S3ToRedshiftOperator (task_id: dag_runs3_to_redshift). Los argumentos no válidos fueron: **kwargs: {‘method’: ‘REPLACE’} Código siguiente: task_fail_s3_to_redshift = S3ToRedshiftOperator( s3_bucket=S3_BUCKET, s3_key=”{{ti.xcom_pull(task_ids=’export_db’,key=’FILE_PATH_1′)}}”, schema=”dw_stage”, table=”task_fail”, copy_options=[‘csv’, “IGNOREHEADER 1”], redshift_conn_id=’redshift’, method=’REPLACE’, . . . Read more
Tengo un grafo dirigido acíclico, donde cada vértice tiene un atributo de “peso”. Los vértices alcanzables desde un vértice inicial son el conjunto de todos los vértices alcanzables siguiendo uno o más bordes, comenzando en el vértice inicial. La suma de pesos alcanzables es la suma de todos los pesos . . . Read more
Estoy trabajando en la migración de algunos ETL a Airflow y estaba planeando utilizar el operador S3 a Snowflake para copiar en Snowflake: https://airflow.apache.org/docs/apache-airflow-providers-snowflake/stable/api/airflow/providers/snowflake/transfers/s3to_snowflake/index.html Actualmente, realizamos el procedimiento estándar de PUT del archivo en la etapa interna de Snowflake y luego hacemos la operación COPY INTO en nuestra tabla de . . . Read more
Construir y describir un algoritmo eficiente que tome como entrada dos grafos acíclicos dirigidos (DAG) y encuentre el camino más largo que ocurra en ambos. Si hay varios, el algoritmo debe devolver uno de los caminos más largos (no importa cuál). En resumen, dada la grafos G = (V, E) . . . Read more