Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Soy nuevo en Iceberg y tengo una pregunta sobre cómo consultar una tabla grande. Tenemos una tabla Hive con un total de 3,6 millones de registros y 120 campos por registro, y queremos transferir todos los registros de esta tabla a otras bases de datos, como pg, kafka, etc. Actualmente . . . Read more
Me gustaría escribir una tabla Iceberg con una especificación de partición diferente a la configuración predeterminada de la tabla, para que cuando ejecute la compactación de datos, los datos se compacten según la especificación predeterminada (según sea posible con la configuración write-format). Por ejemplo: df.writeStream .format(“iceberg”) .outputMode(“append”) .options(Map(“path” ->tableIdentifier, “checkpointLocation” . . . Read more
Tengo varios almacenes de Hive. Los datos residen en archivos Parquet en Amazon S3. Algunas de las tablas contienen TB de datos. Actualmente, en Hive, la mayoría de las tablas se particionan por una combinación de mes y año, ambos guardados principalmente como strings. Otros campos son bigint, int, float, . . . Read more