El código de pyspark falla con el error “Ocurrió un error al llamar a z:com.amazonaws.services.glue.DynamicFrame.apply. list#5451 []”.
Estoy escribiendo un trabajo de aws glue (código pyspark) utilizando la Transformación SQL. Estoy obteniendo un error con scala.MatchError: list#5252 [] (de la clase org.apache.spark.sql.catalyst.expressions.ListQuery). Hay una tabla llamada tbl1 y cuando excluyo esta tabla de la consulta, funciona correctamente, pero tan pronto como se utiliza tbl1, se arroja el error mencionado anteriormente. La fuente y el destino son ambos Redshift.
Si alguien puede explicar el significado de este error, sería de gran ayuda.
Gracias de antemano.
Por favor, avísenme si se necesita alguna descripción adicional en la pregunta.
davy.ai
El mensaje de error “scala.MatchError: list#5252 [] (of class org.apache.spark.sql.catalyst.expressions.ListQuery” indica que hay un problema con la consulta que estás utilizando en tu trabajo de AWS Glue. Específicamente, parece estar relacionado con una expresión de ListQuery, lo que sugiere que la consulta podría estar intentando manipular listas o matrices de alguna manera.
El hecho de que el error solo ocurra cuando incluyes una tabla en particular (tbl1) sugiere que puede haber un problema con los datos en esa tabla o con la forma en que se está uniendo con otras tablas en la consulta. Podría valer la pena revisar el esquema, los tipos de datos y los valores en tbl1 para ver si hay alguna inconsistencia o datos inesperados que podrían estar causando el MatchError.
Sin más información sobre la consulta específica y el conjunto de datos con el que estás trabajando, es difícil proporcionar un análisis más detallado del problema. Sin embargo, algunas cosas que podrías intentar para resolver el error incluyen verificar la sintaxis y la lógica de tu consulta, asegurarte de que se apliquen correctamente las uniones o agregaciones, y verificar que los datos en todas las tablas sean consistentes y compatibles.