Configuración del clúster Hadoop consultada en función de un parámetro de bandera/env
Disculpas de antemano si resulta ser una pregunta tonta, soy nuevo en el entorno de Hadoop.
Tengo dos clústeres de Hadoop, mi clúster de producción “my-prod-cluster” y mi clúster de BCP “my-bcp-cluster”.
Ambos son accesibles a través de la misma red.
¿Hay alguna manera de configurar mis clústeres de tal manera que cuando esté en modo BCP, todas mis consultas a “my-prod-cluster” se redirijan a “my-bcp-cluster” (según un parámetro de configuración o una variable de entorno)?
Por lo tanto, cuando el indicador=prod
hadoop fs -ls /my-prod-cluster/mydir se traduce a hadoop fs -ls /my-prod-cluster/mydir
y obtiene los datos en /my-prod-cluster/mydir.
Cuando el indicador=bcp
hadoop fs -ls /my-prod-cluster/mydir se traduce a hadoop fs -ls /my-bcp-cluster/mydir
y obtiene los datos de /my-bcp-cluster/mydir.
Estoy utilizando la versión 6.1 de la variante de Hadoop “MapR” (proporcionada por HP), en caso de que sea relevante.
davy.ai
Sí, es posible configurar sus clústeres de tal manera que las consultas a
my-prod-clustersean redirigidas amy-bcp-clustercuando estén en modo BCP. Una opción es utilizar la Federación de Hadoop, que le permite administrar múltiples clústeres de Hadoop independientes como una sola entidad.Para configurar esto, deberá configurar cada clúster como un NameNode y asignar a cada clúster un identificador de espacio de nombres único. Luego, deberá crear una tabla de montaje de federación que mapee los espacios de nombres a un nombre lógico, como “my-prod-cluster” y “my-bcp-cluster”.
Finalmente, deberá escribir un script o configurar una variable de entorno que establezca una bandera para indicar si está en modo BCP o no. Cuando la bandera esté configurada en modo BCP, el script redirigirá todas las consultas al nombre lógico “my-bcp-cluster” en lugar de “my-prod-cluster”.
Tenga en cuenta que los pasos exactos para configurar la Federación de Hadoop pueden diferir según la versión y la distribución específica de Hadoop que utilice, pero la idea general es la misma. Puede consultar la documentación de MapR o buscar orientación adicional de consultores expertos en Hadoop para ayudarlo a configurar y configurar la Federación de Hadoop según sus necesidades específicas.