Tag: APACHE-SPARK-DATASET
Tengo mensajes json que quiero analizar y almacenar en tablas de base de datos relacionales. Los mensajes json tienen múltiples niveles de matrices. Por ejemplo: { “orderid”: “123”, “orderdate”: “2021-12-23”, “orderlines”: [ { “orderlinenum”: 1, “itemid”: “a123”, “itemcost”: 10.20 }, { “orderlinenum”: 2, “itemid”: “a999”, “itemcost”: 15.23 } ] } . . . Read more
Tengo un problema relacionado con la selección de diferentes meses en mis datos. Los datos están almacenados en un conjunto de datos de tres dimensiones (lat, lon, tiempo) y como quiero aplicar diferentes correcciones dependiendo de la temporada, necesito seleccionar los datos correspondientemente. En realidad, solo necesitaría consultar de alguna . . . Read more
Quiero mostrar los datos de la siguiente manera: imagen Estaba extrayendo los detalles de las tablas de postgres con el controlador home de esta forma: public IActionResult AllTransactionsList(DateTime startDate, DateTime endDate) { var dataset = new DataSet(); using var connection = new NpgsqlConnection(connString); connection.Open(); Console.WriteLine(startDate); var query = String.Format(@"SELECT accounts.account,accounts.type,DATE(transactions.date),transactions.transactionid,transactions.amount,transactions.note . . . Read more
Me di cuenta de una diferencia en la salida de la función agg() de org.apache.spark.sql.Dataset cuando se llama después de un groupByKey. Consideremos el siguiente conjunto de datos df: +—-+———+—–+ |name| id |score| +—-+———+—–+ | aaa| 100| 12| | aaa| 200| 29| | bbb| 200| 53| | bbb| 300| 42| . . . Read more
Tengo un conjunto de datos al que le he gestionado los valores faltantes utilizando NumPy, el resultado fue un array de NumPy. Luego convertí el array en un archivo CSV pero el conjunto de datos aparece sin los nombres de los atributos, en su lugar se colocaron los valores de . . . Read more