Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo un caso de uso en el que quiero utilizar acciones de inicialización en Dataproc para ejecutar un script que instalará los elementos necesarios. He utilizado algunos scripts de acciones de inicialización en Dataproc que funcionan bien e instalan tanto en el nodo maestro como en los nodos de trabajo. . . . Read more
No puedo encontrar respuesta a esta pregunta. ¿Cómo detener de manera elegante el rol de YARN en un nodo de datos y esperar hasta que todos los trabajos en ejecución en un nodo de datos finalicen con éxito? Sé que en ClouderaManager puedes desactivar el rol de yarn cuando lo . . . Read more
Tengo un programa Spark que necesita recibir un archivo de configuración como parámetro para el método principal. Actualmente, cuando envío el trabajo en modo de clúster de YARN, necesito colocar el archivo de configuración en todos los nodos de trabajo para que el programa pueda encontrarlo. Sin embargo, quiero colocarlo . . . Read more
Me preguntaba si hay alguna manera de obtener programáticamente el número de intento de un trabajo de Spark que se ejecuta en YARN. Ya intenté usar SparkListenerApplicationStart con este listener y registrándolo al lanzar un spark-submit. class Listner extends SparkListener{ var att = “” override def onApplicationStart(applicationStart: SparkListenerApplicationStart): Unit = . . . Read more
Aquí está mi registro de errores: $ /spark-submit –master yarn –deploy-mode cluster pi.py … 2021-12-23 01:31:04,330 INFO retry.RetryInvocationHandler: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): La categoría de operación WRITE no es compatible en el estado de espera. Visite https://s.apache.org/sbnn-error en org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:88) en org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(NameNode.java:1954) en org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOperation(FSNamesystem.java:1442) en org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermission(FSNamesystem.java:1895) en org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setPermission(NameNodeRpcServer.java:860) en org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.setPermission(ClientNamenodeProtocolServerSideTranslatorPB.java:526) en org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) en org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524) . . . Read more