Iceberg: Cómo recorrer rápidamente una tabla muy grande
Soy nuevo en Iceberg y tengo una pregunta sobre cómo consultar una tabla grande.
Tenemos una tabla Hive con un total de 3,6 millones de registros y 120 campos por registro, y queremos transferir todos los registros de esta tabla a otras bases de datos, como pg, kafka, etc.
Actualmente lo hacemos de esta manera:
Dataset<row> dataset = connection.client.read().format("iceberg").load("default.table");
// aquí el proceso se queda atascado por mucho tiempo
dataset.foreachPartition(par -> {
par.forEachRemaining(row -> {
Pero puede quedarse atascado por mucho tiempo en el proceso foreach.
También he probado el siguiente método, el proceso no se queda atascado por mucho tiempo, pero la velocidad de recorrido es muy lenta, la eficiencia de recorrido es de aproximadamente 50 registros/segundo.
HiveCatalog hiveCatalog = createHiveCatalog(props);
Table table = hiveCatalog.loadTable(TableIdentifier.of("default.table"));
CloseableIterable<record> records = IcebergGenerics.read(table).build();
records.forEach(record -> {
Ninguna de estas dos formas puede cumplir con nuestras necesidades, me gustaría saber si mi código necesita modificarse o si hay una mejor manera de recorrer todos los registros. ¡Gracias!
davy.ai
Como experto en TI especializado en Apache Spark, Hive e Iceberg, sugeriría el siguiente enfoque para consultar y transferir de manera eficiente una tabla grande de Hive utilizando Iceberg:
Utilice Apache Spark para paralelizar el proceso de transferencia. Apache Spark puede procesar eficientemente conjuntos de datos grandes en paralelo dividiéndolos en particiones más pequeñas.
Utilice la API de Delta Lake de Iceberg para realizar un seguimiento de los cambios en la tabla de Hive y transferir solo los cambios más recientes a las bases de datos de destino. Esto puede reducir significativamente el tiempo de transferencia y el espacio de almacenamiento requerido para las bases de datos de destino.
Optimice el esquema de las bases de datos de destino para alinearlo con el esquema de la tabla de Hive. Esto puede simplificar el proceso de transferencia y mejorar la calidad de los datos.
En general, la combinación de Apache Spark, Hive e Iceberg puede proporcionar una solución escalable y eficiente para consultar y transferir conjuntos de datos grandes. Sin embargo, los detalles de implementación específicos pueden variar según el caso de uso y los requisitos.