Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Desarrollé una biblioteca personalizada de Python que coloqué en un cubo de S3, y ahora quiero usar Zeppelin con el intérprete de pyspark para interactuar con ella. Sin embargo, no puedo encontrar una forma de hacerlo. ¿Alguien sabe cómo hacerlo? Cosas que he intentado: En Glue es posible incluir una . . . Read more
No estoy seguro de cómo cambiar las configuraciones de Apache Zeppelin en un clúster EMR. La idea es cambiar el valor de zeppelin.helium.registry a helium,https://s3.amazonaws.com/helium-package/helium.json para que Helium funcione (https://zeppelin.apache.org/docs/0.9.0/development/helium/overview.html). Uso la versión 0.10.0 de Zeppelin y Helium se ve así: aquí. ¿Cómo puedo cambiar las configuraciones de Zeppelin para . . . Read more
Actualmente tenemos la salida del scala DataFrame con el valor de id mostrado primero (pero se agrega cronológicamente al DataFrame en último lugar). Otras columnas aparecen dinámicamente en función de la función .pivot() y los datos. Cuando solicito los datos en el intérprete %sql, el orden cambia, lo que hace . . . Read more
Instalé y configuré Zeppelin según lo indica el documento. Establecí GOOGLE_APPLICATION_CREDENTIALS como variable de entorno en conf/zeppelin-env.sh export GOOGLE_APPLICATION_CREDENTIALS=/home/anderson/.ssh/gcp-credentials.json Configuré el intérprete de BigQuery estableciendo zeppelin.bigquery.project_id. Después de estas configuraciones, pude ejecutar la siguiente consulta SQL de BigQuery para un conjunto de datos público sin ningún problema. %bigquery <h1>standardSQL</h1> SELECT . . . Read more
Tengo el DataFrame con la hora de inicio del evento: val dailySummariesDfVisualize = dailySummariesDf .orderBy(“event_time”).registerTempTable(“raw”) val df = sqlContext.sql(“select * from raw”) df.show() +——————–+——————-+————-+—————–+—————+ | event_type| event_time|event_payload|coffee_machine_id|digital_twin_id| +——————–+——————-+————-+—————–+—————+ |Large_Cup_Button_…|2021-03-24 07:06:34| null| NP20100005| NP20100005| |Large_Cup_Button_…|2021-03-24 07:07:41| null| NP20100005| NP20100005| Me gustaría que cada fila de event_time sea el comienzo del intervalo . . . Read more