es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

La ejecución de RunGreatExpectationsValidation devuelve una excepción.

04 Jun, 2023 Programación

Estoy luchando con un problema de integración en Great Expectations. Obviamente, uso la tarea RunGreatExpectationsValidation con:

validation_task = RunGreatExpectationsValidation()
with Flow(
    "GE_pull_and_run",
) as GE_pull_and_run_flow:
    .......
    validation_task(
        context_root_dir=root_dir,
        checkpoint_name=expectation_checkpoint_name
    )

Cuando ejecuto el comando en GE (great_expectations –V3-api checkpoint run my_checkpoint), funciona, pero en la tarea de Prefect, tengo una excepción. Con GE V3 API:

.....
   File "c:\Users\vincent2\DK\prefect.data.pipeline\venv\lib\site-packages\prefect\tasks\great_expectations\checkpoints.py", line 246, in run
        for batch in ge_checkpoint["batches"]:
    TypeError: 'Checkpoint' object is not subscriptable

Lo mismo ocurre con GE V2 API:

    ...
        for batch in ge_checkpoint["batches"]:
    TypeError: 'LegacyCheckpoint' object is not subscriptable

Great_expectations = 0.13.43 (también probé con la versión 0.12.10)
Prefect = 0.15.9
¿Alguien ha experimentado este problema?
Gracias.

Tags:  ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Parece que el problema surge al intentar ejecutar la tarea RunGreatExpectationsValidation con Prefect. El mensaje de error indica que el objeto Checkpoint no es subscriptable, lo que sugiere que puede haber un problema con la forma en que se accede o se pasa el checkpoint a la tarea.

    Algunas posibles causas de este error podrían incluir:

    • Problemas de incompatibilidad entre las versiones de Great Expectations y Prefect que se están usando
    • Especificación incorrecta del nombre o directorio del checkpoint en los parámetros de la tarea
    • Problemas con la configuración del checkpoint en sí

    Podría ser útil revisar la configuración del checkpoint y asegurarse de que esté correctamente configurada para su uso con tanto Great Expectations como Prefect. Además, podría valer la pena experimentar con diferentes versiones de Great Expectations y Prefect para ver si hay algún problema de compatibilidad en juego.

    Si el problema persiste, podría ser útil consultar la documentación de Great Expectations y Prefect o buscar ayuda en sus respectivas comunidades.

Comments are closed.