Tag: PREFECT
Soy nuevo en Prefect, principalmente he trabajado con Airflow. He creado un flujo de trabajo que se ejecuta correctamente, pero las tareas no se ejecutan en el orden que espero. El flujo es el siguiente: with Flow(name=’4chan_extract’) as flow: board_param = Parameter(name=’board_name’, required=True, default=’pol’) getData(board=board_param) checkDB(url=’postgresql://postgres:user@localhost:5434/postgres’) upload_raw(url=”postgresql://postgres:user@localhost:5434/postgres”, board=board_param) remove_dupes(board=board_param) Sin . . . Read more
Hola, estoy intentando aplicar Prefect a mi proyecto que utiliza la biblioteca “click” para tratar los parámetros de la línea de comandos. A continuación se muestra un ejemplo de código: @click.command() @click.option( “-p”, “–pages”, type=int, default=0, help=”…”, ) def main(pages): print(“Ejecutando…”) if pages > 0: a() else: b() print(“Finalizado sin . . . Read more
Consideremos una tarea prefect cuyos requisitos de memoria no se conocen de antemano. Si la tarea falla porque el trabajador no tiene suficiente memoria, ¿es posible modificar los parámetros del trabajador dask y volver a ejecutar la tarea? Sería genial si hay una forma de aumentar la asignación de memoria . . . Read more
Utilicé el comando prefect server start –postgres-port=5433 –server-port=5001 –hasura-port=5002 –graphql-port=5003 –expose para iniciar el servidor de Prefect en los puertos permitidos en mi red de Azure. Y cuando ejecuto docker ps obtengo CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 873bfa5bd6bc prefecthq/ui:core-0.15.7 “/docker-entrypoint.…” 23 minutos atrás Up 23 minutos (healthy) . . . Read more
Al utilizar docker como almacenamiento, en la llamada como se muestra a continuación: prefect register –project yourproject -p yourflow.py Parece que prefect crea una carpeta tmp{randomNumber} y coloca healthcheck.py y un Dockerfile, que participan en la construcción de docker. Pero accidentalmente eliminé la carpeta tmp y, aunque la recuperé, todavía . . . Read more