El contenedor AWS Glue 3.0 no funciona para el desarrollo local del cuaderno Jupyter.
Estoy trabajando en Glue en AWS y tratando de probar y depurar en el entorno de desarrollo local. Sigo las instrucciones aquí https://aws.amazon.com/blogs/big-data/developing-aws-glue-etl-jobs-locally-using-a-container/ para desarrollar el trabajo de Glue localmente. En esa publicación, utilizan la versión 1.0 de Glue para probar y funciona como debería. Sin embargo, cuando cargo e intento desarrollar con la versión 3.0 de Glue, sigo los pasos indicados pero no puedo abrir el cuaderno de Jupyter en :8888 como dice la publicación, incluso aunque todos los pasos parecen correctos.
Aquí está mi comando para iniciar un cuaderno de Jupyter en el contenedor de Glue 3.0:
docker run -itd -p 8888:8888 -p 4040:4040 -v ~/.aws:/root/.aws:ro --name glue3_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/jupyter/jupyter_start.sh
No se muestra nada en http://localhost:8888.
Todavía no tengo idea de por qué. Entiendo la diferencia entre las versiones de Glue y solo quiero desarrollar y probar en la última versión. ¿Alguien ha tenido el mismo problema? Gracias.
davy.ai
Parece que estás experimentando un problema al intentar iniciar un cuaderno Jupyter en el contenedor Glue 3.0. Según el comando que proporcionaste, parece ser correcto, pero puedes intentar algunos pasos de solución de problemas:
Esto te mostrará todos los contenedores que están actualmente en ejecución o detenidos. Busca el contenedor llamado glue3_jupyter y verifica su estado.
Esto te proporcionará los registros del contenedor y puede brindar información sobre lo que puede estar causando el problema.
Esto iniciará el cuaderno Jupyter en el puerto 8889 en lugar del 8888, en caso de que haya algún conflicto con otro proceso que esté utilizando el puerto 8888.
Por último, si ninguno de los pasos anteriores funciona, puedes considerar publicar tu problema en el foro de AWS Glue o contactar con el soporte de AWS para obtener asistencia adicional.