es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: ELASTICSEARCH-HADOOP

¿Por qué el Yarn ResourceManager siempre se apaga cuando envío un trabajo?

Ahora estoy aprendiendo cómo construir un clúster de Hadoop y el primer paso es probar un clúster Pseudo-Distribuido siguiendo la guía de https://hadoop.apache.org/docs/r3.3.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation. Y logré iniciar yarn llamando $HADOOP_HOME/sbin/start-dfs.sh y $HADOOP_HOME/sbin/start-yarn.sh. La salida de jps es la siguiente: Sin embargo, si envío un trabajo, que no hace nada en realidad, . . . Read more

java_home no es leído por hadoop

Instalé java8 con brew install –cask adoptopenjdk/openjdk/adoptopenjdk8, pero creo que he arruinado las cosas. Cuando escribo echo $JAVA_HOME, muestra /usr/bin/java. Cuando escribo java -version, muestra java version “1.8.0_311” Java(TM) SE Runtime Environment (build 1.8.0_311-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.311-b11, mixed mode) Cuando escribo /usr/libexec/java_home, muestra /Library/Internet Plug-Ins/JavaAppletPlugin.plugin/Contents/Home. Cuando . . . Read more

No se pudo transferir el artefacto org.apache.hadoop:hadoop-client:pom:2.9.2 desde/hacia central (https://repo.maven.apache.org/maven2): la transferencia falló.

Estoy enfrentando problemas al descargar hadoop-client y hbase-client necesarios para mi proyecto. Me encuentro con el siguiente error. No se pudo transferir el artefacto org.apache.hadoop:hadoop-client:pom:2.9.2 desde/para central (https://repo.maven.apache.org/maven2): la transferencia falló para https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-client/2.9.2/hadoop-client-2.9.2.pom El pom.xml que estoy utilizando en el proyecto. 4.0.0 org.example map-reduce1 1.0-SNAPSHOT <maven.compiler.source>7</maven.compiler.source> <maven.compiler.target>7</maven.compiler.target> org.apache.hadoop hadoop-client 2.9.2 . . . Read more

¿Es esta la forma correcta de diseñar un Map Reduce?

Estoy diseñando un MapReduce en Apache Hadoop. Se me ha proporcionado datos que incluyen: el identificador único de los clientes, su código postal, la fecha de compra y el producto que han adquirido. Un ejemplo de los datos se ve así: CustId 10001, PostCode 111111, DoP 19/11/2000, ProdP 1 Quiero . . . Read more

¿Es posible utilizar/consultar datos utilizando Pig/Tableau u otra herramienta desde HDFS que se insertó/cargó utilizando una tabla administrada con HIVE?

¿Es posible utilizar o consultar los datos utilizando Pig, Drill, Tableau u otra herramienta desde HDFS que se haya insertado/cargado utilizando una tabla administrada por HIVE; o solo es aplicable con datos en HDFS que se hayan insertado/cargado utilizando una tabla externa de HIVE? Edit 1: ¿Los datos asociados a . . . Read more