Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
¿Al revisar la localización de datos en Spark en Kubernetes, si los pods de Spark están colocados en los mismos nodos que los pods de nodos de datos de HDFS, entonces ¿funciona la localización de datos? La sesión de preguntas y respuestas aquí: https://www.youtube.com/watch?v=5-4X3HylQQo parece sugerir que no.
Estoy creando un metastore en Azure Databricks para Azure SQL. He proporcionado los siguientes comandos para la configuración del clúster utilizando el tiempo de ejecución 7.3, como se menciona en la documentación https://learn.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metastore#spark-options. — spark.hadoop.javax.jdo.option.ConnectionDriverName com.microsoft.sqlserver.jdbc.SQLServerDriver spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://xxx.database.windows.net:1433;database=hivemetastore spark.hadoop.javax.jdo.option.ConnectionUserName xxxx datanucleus.fixedDatastore false spark.hadoop.javax.jdo.option.ConnectionPassword xxxx datanucleus.autoCreateSchema true spark.sql.hive.metastore.jars builtin spark.sql.hive.metastore.version 1.2.1 . . . Read more
Hola, intenté crear una tabla con una consulta simple como la siguiente: select distinct b.week_start_date, count(distinct visitor_id) as uu, count(distinct visit_id) as session, sum(1) FILTER (WHERE event_name = ‘pageview’) AS pageview from table a join table b on a.date = b.cy_date_num_yyyymmdd where a.date between ‘20211107’ and ‘20211113’ group by 1 . . . Read more
Tengo 2 archivos, uno de ellos tiene preguntas, y el otro tiene (múltiples) respuestas para cada pregunta. Por ejemplo: Preguntas: Q1, ¿Cuál es el nombre de su hijo? Q2, ¿Cómo estás hoy? Respuestas: A1, Q1, George A2, Q1, David A1, Q2, Good A2, Q2, Nice A3, Q2, Amazing Lo que . . . Read more
Tengo un gran marco de datos df para el cual se adjuntó la imagen de muestra a continuación. Contiene 47.000 filas que quiero insertar en una tabla Hadoop. La tabla en la que quiero insertar estos datos tiene todas las columnas string.. Todas las columnas en el marco de datos . . . Read more