es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: AVRO

El esquema Avro con logicalType no se puede utilizar con el último confluent-kafka.

Estamos utilizando kafka con esquemas avro y el registro de esquemas configurado en compatibilidad “FULL”. Nuestros esquemas utilizan campos de “logicalType”, por ejemplo: { “name”: “MyRecord”, “type”: “record”, “fields”: [ { “name”: “created_at”, “type”: [ “null”, { “type”: “long”, “logicalType”: “timestamp-millis” } ], “default”: null } ] } Esto funciona . . . Read more

Utilizando los esquemas Avro que hacen referencia a otros esquemas Avro para generar una clase de registro específica en Java.

Tengo 2 esquemas, es decir, los esquemas de LogLine y User { “namespace”: “com.sample.log”, “type”: “record”, “name”: “User”, “fields”: [ {“name”: “username”, “type”: “string”}, {“name”: “user_type”, “type”: “string”} ] } { “namespace”: “com.sample.log”, “type”: “record”, “name”: “LogLine”, “fields”: [ {“name”: “ip”, “type”: “string”}, {“name”: “timestamp”, “type”: “long”}, {“name”: “url”, “type”: . . . Read more

La método ‘configurable’ de la clase ‘value.subject.name.strategy’ no se llama.

Cuando uso schema-registry en kafka-connect, agregué propiedades como estas: value.converter=io.confluent.connect.avro.AvroConverter value.converter.schema.registry.url=https://schema-registry-host:8082 value.converter.auto.register.schemas=false value.converter.schema.registry.ssl.truststore.location=/path value.converter.use.latest.version=true value.converter.latest.compatibility.strict=false value.converter.key.subject.name.strategy=com.test.MySubjectNameStrategy value.converter.value.subject.name.strategy=com.test.MySubjectNameStrategy //extends SubjectNameStrategy class El schema-registry funciona correctamente. El método ‘MySubjectNameStrategy.subjectName’ funciona correctamente. Pero ‘MySubjectNameStrategy.configurable’ no fue llamado en absoluto. “MySubjectNameStrategy” necesita recibir parámetros en el archivo .properties. ¿Puede alguien ayudar por favor?

Lea el archivo Avro Parquet desde dentro del archivo JAR.

Estoy intentando leer un archivo Parquet incluido como recurso dentro de un JAR, preferiblemente como un flujo. ¿Alguien tiene un ejemplo que funcione y que no implique escribir primero el recurso como un archivo temporal? Aquí está el código que estoy usando para leer los archivos, que funciona bien en . . . Read more