Tag: BIGDATA
Tengo una tabla con datos similares a los datos originales. Usando los datos originales, quiero reestructurarlos a los datos modificados como en la tabla utilizando PIVOT o UNPIVOT en SQL. Datos originales: lote tabla1 tabla2 tabla3 tabla4 … tabla28 cabecera … a xxa xxb xxc xxd … xxf 1 … . . . Read more
Tengo un archivo h5 que fue creado en Julia. Necesito practicar entrenamiento, pero no estoy seguro de cómo trabajar con big data. feature_matrix = h5py.File(‘features.h5′,’r’) Este archivo tiene un conjunto de datos que tiene la siguiente estructura, por ejemplo: Ruta: /feature1 Forma: (900000,) Tipo de dato: float32 Ruta: /feature2 Forma: . . . Read more
Básicamente, mi objetivo aquí es bastante simple. Tengo un archivo de inventario CSV grande con aproximadamente 400,000 líneas/artículos y estoy recibiendo un archivo csvstock cada par de minutos. Estoy tratando de encontrar una manera eficiente y rápida de transferir el nuevo recuento de stock de la alimentación de stock recopilada . . . Read more
Estoy leyendo el archivo CSV UTF-8 en un dataframe de Pyspark. En el dataframe, estoy obteniendo \x00 en cada carácter de cada columna del dataframe. Por ejemplo, en el archivo CSV: Username Xyz En el dataframe, aparece como un cuadro cuadrado. Cuando hago collect(), se muestra de la siguiente manera. . . . Read more
Tengo tablas de categorías y productos relacionales. Las categorías son jerárquicas. Tendré consultas basadas en la categoría, por ejemplo: select * from products where CatId = 3 o select * from products where CatId = 1 Tengo 6 niveles de categoría y 24 millones de filas para productos, tengo que . . . Read more