¿Cómo establecer la memoria del nodo maestro por encima de la memoria de los nodos trabajadores en H2O?
En mi algoritmo, el nodo maestro necesita más memoria (digamos 20GB) mientras que los nodos trabajadores necesitan mucha menos memoria (digamos 3GB). Sin embargo, hasta donde yo sé, en H2O solo es posible establecer la misma cantidad de memoria para el nodo maestro y los nodos trabajadores utilizando -mapperXmx.
En Apache Spark, es posible especificar la memoria del controlador utilizando el argumento --driver-memory. Sin embargo, no he podido encontrar una manera equivalente de establecer la memoria del nodo “maestro/controlador” en H2O.
Estoy ejecutando H2O (no Sparkling Water) en un clúster Hadoop (básicamente en un clúster YARN) usando este comando: hadoop jar h2o-hadoop-3/h2o-cdh6.3-assembly/build/libs/h2odriver-3.33.1.jar -nodes 5 -mapperXmx 3g -output my/output/dir/on/hdfs. De esta manera, puedo especificar la memoria de los nodos trabajadores como 3GB. Sin embargo, no pude encontrar el argumento para especificar la memoria del nodo maestro. ¿Es posible establecer el nodo maestro en 20GB?
davy.ai
Después de investigar y examinar la documentación de H2O, parece que no hay una manera directa de establecer la memoria del nodo maestro en H2O. El argumento
-mapperXmxse utiliza para especificar la asignación de memoria tanto para el nodo maestro como para los nodos trabajadores.Sin embargo, existe una posible solución para este problema. Una solución posible es establecer la asignación máxima de memoria para todo el clúster de Hadoop mediante la definición de las propiedades
yarn.nodemanager.resource.memory-mbyyarn.scheduler.maximum-allocation-mben el archivoyarn-site.xmlde YARN. Estas propiedades determinan la cantidad máxima de memoria que se puede asignar para cualquier tarea o contenedor en el clúster.Al establecer la propiedad
yarn.scheduler.maximum-allocation-mben 3 GB y la propiedadyarn.nodemanager.resource.memory-mben 20 GB, puede garantizar que los nodos trabajadores se asignen 3 GB de memoria mientras que el nodo maestro tiene la opción de utilizar hasta 20 GB de memoria, si es necesario.En resumen, aunque H2O no tiene una manera directa de establecer la memoria del nodo maestro, es posible solucionar este problema ajustando la asignación máxima de memoria para todo el clúster de Hadoop a través de la configuración de YARN.