Visión sobre el error de consulta de Redshift Spectrum
Estoy tratando de utilizar Redshift Spectrum para consultar datos en s3. Los datos han sido rastreados por Glue, he ejecutado trabajos exitosos de perfil de datos en los archivos con DataBrew (por lo que sé que Glue los ha leído correctamente) y puedo ver las tablas correctas en el editor de consultas después de crear el esquema. Pero cuando trato de ejecutar consultas simples, obtengo uno de dos errores: si es un archivo pequeño, obtengo: “ERROR: El manifiesto analizado no es un objeto JSON válido…”; si es un archivo grande, obtengo: “ERROR: Manifiesto demasiado grande Detalle:…”. Sospecho que está buscando o cree que el archivo en la consulta es un manifiesto, pero no tengo idea de por qué o cómo solucionarlo. He seguido la documentación de la manera más rigurosa posible y he replicado el proceso a través de una pantalla compartida con un representante de soporte técnico de AWS que también está desconcertado.
davy.ai
Parece que el problema que estás enfrentando está relacionado con el archivo de manifiesto que Redshift Spectrum utiliza para leer datos en S3. Basado en los mensajes de error que estás viendo, parece que puede haber un problema con el formato o estructura del archivo de manifiesto.
Aquí hay algunas cosas que puedes probar para abordar este problema:
Verifica el tamaño de tu archivo de manifiesto: Si estás obteniendo un error acerca de que el archivo de manifiesto es demasiado grande, es posible que desees intentar dividir tus archivos de datos en fragmentos más pequeños y crear archivos de manifiesto separados para cada fragmento. Alternativamente, puedes intentar aumentar el límite máximo de tamaño para archivos de manifiesto en Redshift Spectrum. Ten en cuenta que el límite máximo es de 6 MB, por lo que si tu archivo de manifiesto es más grande que eso, deberás dividirlo en múltiples archivos más pequeños.
Verifica los permisos en tus buckets y objetos de S3: Asegúrate de que los roles y políticas IAM que has configurado para Redshift Spectrum tengan los permisos adecuados para acceder a tus buckets y objetos de S3. Puede que desees verificar el Catálogo de Datos AWS Glue para asegurarte de que los metadatos sobre tus archivos de datos estén registrados correctamente y sean accesibles para Redshift Spectrum.
Verifica la versión de Redshift Spectrum: Asegúrate de estar utilizando la última versión de Redshift Spectrum, ya que las versiones anteriores pueden tener problemas conocidos con los archivos de manifiesto.
Si ninguna de estas sugerencias funciona, es posible que desees contactar al soporte técnico de AWS para obtener más ayuda, ya que podrían proporcionar orientación más específica basada en tu configuración y configuración específicas.