Tag: AIRFLOW-SCHEDULER
Versión de Laravel: 8.78.1 Versión de PHP: 8.0.10 Descripción Mientras creaba mi primer comando programado, al intentar enumerar mis programaciones con php artisan schedule:list lanza el siguiente error: DateTime::setTimezone(): El argumento nº 1 ($timezone) debe ser del tipo DateTimeZone, se proporcionó null en vendor/laravel/framework/src/Illuminate/Console/Scheduling/ScheduleListCommand.php:43 cambiando mi comando a php artisan . . . Read more
¿Alguien utiliza MWAA en producción? Actualmente tenemos alrededor de 500 DAGs en ejecución y observamos un comportamiento inesperado con tareas que permanecen en estado “en cola” por razones desconocidas. La tarea está en estado “en cola”, que no es un estado válido para la ejecución. La tarea debe ser limpiada . . . Read more
Tenemos una DAG de Airflow que acepta la entrada del usuario y realiza algunas tareas. Queremos ejecutar la misma DAG simultáneamente con diferentes entradas de usuario. Encontramos varios enlaces para ejecutar tareas simultáneas, pero no pudimos obtener información sobre la ejecución simultánea. Entonces, si desencadenamos la DAG con dos entradas . . . Read more
for params in read_parameters_input_file.itertuples(): timings = params.Time timing = timings base_price = params.Base_price stop_loss_pr = params.Stop_loss def run_code(timing, base_price, stop_loss_pr): ltp_data = kite_connection() b120(timing, ltp_data, base_price, stop_loss_pr) schedule.every().day.at(timings).do(run_code(timing, base_price, stop_loss_pr)) while True: schedule.run_pending() time.sleep(1) En la función run_code estoy llamando a dos funciones, por eso en los argumentos de run-code . . . Read more
Estoy intentando almacenar objetos de tarea Airflow en un diccionario como valores, como se muestra a continuación operator_dict = {} operator_dict[‘file-sensor1′] = FileSensor(task_id=’file-sensor-1′, fs_conn_id=’fs-source’, filepath=file, poke_interval=30, timeout=300, dag=dag) La impresión del diccionario operator_dict se ve así {‘filetrigger_1’: <task(filesensor): filetrigger_1=””>, ‘filetrigger_2’: <task(filesensor): filetrigger_2=””>, ‘datamorphjob_1’: <task(databricksrunnowoperator): datamorphjob_1=””>)} No veo ningún error/excepción generado . . . Read more