Tag: AVRO
Estamos utilizando kafka con esquemas avro y el registro de esquemas configurado en compatibilidad “FULL”. Nuestros esquemas utilizan campos de “logicalType”, por ejemplo: { “name”: “MyRecord”, “type”: “record”, “fields”: [ { “name”: “created_at”, “type”: [ “null”, { “type”: “long”, “logicalType”: “timestamp-millis” } ], “default”: null } ] } Esto funciona . . . Read more
Tengo 2 esquemas, es decir, los esquemas de LogLine y User { “namespace”: “com.sample.log”, “type”: “record”, “name”: “User”, “fields”: [ {“name”: “username”, “type”: “string”}, {“name”: “user_type”, “type”: “string”} ] } { “namespace”: “com.sample.log”, “type”: “record”, “name”: “LogLine”, “fields”: [ {“name”: “ip”, “type”: “string”}, {“name”: “timestamp”, “type”: “long”}, {“name”: “url”, “type”: . . . Read more
¿Es un anti-patrón tener el mismo tema de entrada y salida cuando se usan funciones de Pulsar? En mi caso, he estado utilizando solo un tema donde tengo un consumidor de Cassandra que consume los mensajes. Estaba pensando en crear una función que lea los mensajes de este tema y . . . Read more
Cuando uso schema-registry en kafka-connect, agregué propiedades como estas: value.converter=io.confluent.connect.avro.AvroConverter value.converter.schema.registry.url=https://schema-registry-host:8082 value.converter.auto.register.schemas=false value.converter.schema.registry.ssl.truststore.location=/path value.converter.use.latest.version=true value.converter.latest.compatibility.strict=false value.converter.key.subject.name.strategy=com.test.MySubjectNameStrategy value.converter.value.subject.name.strategy=com.test.MySubjectNameStrategy //extends SubjectNameStrategy class El schema-registry funciona correctamente. El método ‘MySubjectNameStrategy.subjectName’ funciona correctamente. Pero ‘MySubjectNameStrategy.configurable’ no fue llamado en absoluto. “MySubjectNameStrategy” necesita recibir parámetros en el archivo .properties. ¿Puede alguien ayudar por favor?
Estoy intentando leer un archivo Parquet incluido como recurso dentro de un JAR, preferiblemente como un flujo. ¿Alguien tiene un ejemplo que funcione y que no implique escribir primero el recurso como un archivo temporal? Aquí está el código que estoy usando para leer los archivos, que funciona bien en . . . Read more