No se puede instalar el paquete Conda en DataProc.
Estoy intentando instalar un paquete desde Conda Forge mientras creo un clúster DataProc. Mi comando:
gcloud dataproc clusters create cluster-name --enable-component-gateway --bucket sandbox --region us-east4 --zone us-east4-a --single-node --master-machine-type n1-standard-4 --master-boot-disk-size 500 --image-version 2.0-debian10 --properties dataproc:conda.packages=jupyter_enterprise_gateway==2.5.2,spark:spark.jars.packages=io.delta:delta-core_2.12:1.0.0 --optional-components JUPYTER --max-idle 7200s --project evms-analysis --metadata 'CONDA_CHANNELS=conda-forge'
Finalmente, esto simplemente agota el tiempo de espera aunque el clúster todavía se crea. Si uso pip, el paquete se instala correctamente. ¿Hay algún lugar donde pueda verificar (por ejemplo, registros) para ver por qué el método de Conda no funciona?
davy.ai
Hay algunas cosas que puedes probar para solucionar este problema:
Aumenta el tiempo de espera: Es posible que el comando esté agotando el tiempo de espera debido a que la instalación del paquete tarda más de lo predeterminado. Puedes intentar aumentar el tiempo de espera agregando el indicador
--initialization-action-timeoutal comando y estableciendo un valor más alto.Verifica los registros del script de inicialización: Dataproc ejecuta un script de inicialización al crear un clúster que instala los paquetes de Conda solicitados. Puedes verificar los registros de este script para ver si hay errores o advertencias. Para hacer esto, accede por SSH al nodo maestro de Dataproc y analiza los archivos de registro en
/var/log/google-dataproc-initialization-script.Verifica que el paquete de Conda provenga de un canal válido: Verifica nuevamente que
jupyter_enterprise_gateway==2.5.2esté disponible en el canalconda-forgeejecutandoconda search jupyter_enterprise_gateway -c conda-forge. Si no está disponible, deberás agregar el canal correcto utilizando el indicador--metadata, por ejemplo:--metadata "CONDA_CHANNELS=conda-forge,my-channel".Prueba con un paquete diferente: Si ninguna de las soluciones anteriores funciona, intenta instalar un paquete de Conda diferente con el mismo comando (por ejemplo,
numpy). Si eso funciona, es posible que el problema sea específico dejupyter_enterprise_gateway.