Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Soy capaz de guardar una suite Great_Expectations en la carpeta tmp de mi edición de Databricks Community de la siguiente manera: ge_partdf.save_expectation_suite(‘/tmp/myexpectation_suite.json’, discard_failed_expectations=False) Pero el problema es que, al reiniciar el clúster, el archivo json ya no se encuentra en la carpeta tmp. Supongo que esto se debe a que . . . Read more
¿Existen reglas específicas para los nombres de las columnas en Great Expectations? En particular, si tienes una columna como a.age , ¿tendría que ser renombrada como a_age para poder ejecutar una expectativa sobre ella?
Estoy trabajando en una tarea de Monitoreo de Datos en la cual estoy utilizando el framework Great Expectation para monitorear la calidad de los datos. Estoy utilizando el conjunto airflow+big query+great expectation para lograr esto. He establecido el parámetro is_blocking:False para expectation, pero el trabajo se interrumpe con una excepción . . . Read more
Estoy luchando con un problema de integración en Great Expectations. Obviamente, uso la tarea RunGreatExpectationsValidation con: validation_task = RunGreatExpectationsValidation() with Flow( “GE_pull_and_run”, ) as GE_pull_and_run_flow: ……. validation_task( context_root_dir=root_dir, checkpoint_name=expectation_checkpoint_name ) Cuando ejecuto el comando en GE (great_expectations –V3-api checkpoint run my_checkpoint), funciona, pero en la tarea de Prefect, tengo una . . . Read more