Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy tratando de insertar datos en una tabla de Hbase con una tarea BashOperator de Airflow. Intento primero llamar al shell de Hbase y luego insertar algunos datos en mi tabla: logg_data_to_hbase = BashOperator( task_id=’data_to_hbase’, dag=test_dag, bash_command=”hbase shell && put ‘tablename’, ‘rowname’, ‘columnvalue’, 1000″) Recibo un error que dice ERROR . . . Read more
Tenemos una DAG de Airflow que acepta la entrada del usuario y realiza algunas tareas. Queremos ejecutar la misma DAG simultáneamente con diferentes entradas de usuario. Encontramos varios enlaces para ejecutar tareas simultáneas, pero no pudimos obtener información sobre la ejecución simultánea. Entonces, si desencadenamos la DAG con dos entradas . . . Read more
Tengo una instancia de CDAP data fusion local con múltiples espacios de nombres. ¿Cómo puedo activar la canalización utilizando operadores de airflow? He intentado explorar los operadores disponibles de airflow y esta página, pero no es muy útil: https://cloud.google.com/data-fusion/docs/reference/cdap-reference#startabatch_pipeline.
Quiero truncar mi tabla de Redshift antes de cargar un archivo CSV en la tabla de Redshift. Error: airflow.exceptions.AirflowException: Se pasaron argumentos no válidos a S3ToRedshiftOperator (task_id: dag_runs3_to_redshift). Los argumentos no válidos fueron: **kwargs: {‘method’: ‘REPLACE’} Código siguiente: task_fail_s3_to_redshift = S3ToRedshiftOperator( s3_bucket=S3_BUCKET, s3_key=”{{ti.xcom_pull(task_ids=’export_db’,key=’FILE_PATH_1′)}}”, schema=”dw_stage”, table=”task_fail”, copy_options=[‘csv’, “IGNOREHEADER 1”], redshift_conn_id=’redshift’, method=’REPLACE’, . . . Read more
Estoy intentando almacenar objetos de tarea Airflow en un diccionario como valores, como se muestra a continuación operator_dict = {} operator_dict[‘file-sensor1′] = FileSensor(task_id=’file-sensor-1′, fs_conn_id=’fs-source’, filepath=file, poke_interval=30, timeout=300, dag=dag) La impresión del diccionario operator_dict se ve así {‘filetrigger_1’: <task(filesensor): filetrigger_1=””>, ‘filetrigger_2’: <task(filesensor): filetrigger_2=””>, ‘datamorphjob_1’: <task(databricksrunnowoperator): datamorphjob_1=””>)} No veo ningún error/excepción generado . . . Read more