es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Esquema de ClickHouse JDBC [Integración Airbyte]

23 Jul, 2023 Programación

Busco realmente un consejo sobre cómo configurar la transmisión de datos entre la base de datos Oracle (solo como ejemplo) y la base de datos Clickhouse utilizando la herramienta de ETL de Airbyte.

He creado los conectores de origen y destino y probado exitosamente las conexiones, pero ahora me enfrento al problema de sincronizar los datos. Mientras que el origen está enviando los datos correctamente, el controlador JDBC del destino (Clickhouse) requiere que el esquema acepte esas tablas.

Por lo tanto, no sé cómo recuperar este esquema y dónde debería almacenarse. Tal vez haya algunos medios para crear este esquema, porque cuando inspecciono el registro muestra algo así:
Descripción de la imagen

Entonces, básicamente, el error está relacionado con Exception in thread "main" java.lang.IllegalStateException: jdbc destinations must specify a schema.

¡Le agradecería mucho cualquier medio para resolver ese problema!

Tags:  , , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Para resolver el problema de sincronización de datos entre una base de datos Oracle y Clickhouse utilizando la herramienta ETL Airbyte, se pueden seguir los siguientes pasos:

    1. Obtener el esquema de la base de datos Clickhouse donde se cargaran los datos. Esto se puede hacer utilizando un comando como DESCRIBE TABLE mytable, donde mytable es el nombre de una tabla en la base de datos. El esquema debe estar en el formato CREATE TABLE mytable (...) ENGINE = MergeTree().

    2. Guardar el esquema en un archivo en la máquina donde está instalada la herramienta ETL Airbyte. Este archivo puede ser de cualquier formato, pero debe contener la sentencia de creación de tabla obtenida en el paso 1 anterior.

    3. Especificar el archivo de esquema en la configuración del conector de destino para Clickhouse. Esto se puede hacer agregando la siguiente línea al archivo de configuración:

      "schema": {
   "implementation": {
       "type": "filepath",
       "path": "/ruta/al/archivo/de/esquema"
   }
}

      Reemplazar /ruta/al/archivo/de/esquema con la ruta real del archivo de esquema en la máquina donde está instalado Airbyte.

    4. Reiniciar el trabajo de ETL de Airbyte y los datos ahora deberían fluir desde Oracle hacia Clickhouse.

    Si los pasos anteriores no resuelven el error, puede ser necesario verificar la versión de Clickhouse y la compatibilidad del controlador JDBC con la herramienta ETL de Airbyte. Además, puede ser útil revisar la documentación de Airbyte y buscar soporte en la comunidad de Airbyte.

Comments are closed.