Tag: AVRO
Tengo un caso de uso en el que necesito permitir valores nulos para un mapa Avro, pero parece que Avro no permite unions para los valores del mapa. Básicamente, necesito implementar la funcionalidad de una POJO definida como Map. ¿Cómo puedo lograr esto? El siguiente esquema de Avro arroja un . . . Read more
Tengo un registro de esquemas con compatibilidad FULL_TRANSITIVE para poder leer datos antiguos con el nuevo esquema y viceversa, y esto es completamente adecuado para mis propósitos. El problema es que necesito tener en algún lugar (posiblemente en el registro de esquemas) la versión completa del esquema para mi tema. . . . Read more
@Component public class GeneralTopicWriter { @Autowired private JmsTemplate jmsTemplate; private Schema schema; private DatumWriter writer; @Autowired private EbxToCanonicalConverter ebxToCanonicalConverter; public void sendAvroCustomerBinaryMessagetoTopic(List customers, String topic) { Customers convertedCustomers = ebxToCanonicalConverter.convert(customers); jmsTemplate.send(topic, session -> { BytesMessage bytesMessage = session.createBytesMessage(); ByteArrayOutputStream out = new ByteArrayOutputStream(); BinaryEncoder encoder = EncoderFactory.get().binaryEncoder(out, null); LOGGER.debug(“Enviando mensaje . . . Read more
Me encuentro con un problema extraño al cargar datos desde archivos AVRO/Parquet en BigQuery utilizando el trabajo de carga bq o mediante un dataframe de apache-spark. Los archivos de origen tienen un tipo de dato float con el valor 22.54, pero después de cargarlo en BigQuery, automáticamente cambia a 22.540000915527344. . . . Read more
Soy nuevo en el mundo de GCP. Estoy tratando de ejecutar uno de los ejemplos de pubsub (https://github.com/googleapis/java-pubsub/blob/HEAD/samples/snippets/src/main/java/pubsub/SubscribeWithAvroSchemaExample.java) en el repositorio de Github de Google en Cloud Shell. Su documentación también tiene enlaces a Cloud Shell (https://github.com/googleapis/java-pubsub/tree/ff9c9c15a9efb10d5cbc9328c7a703a20b5d4b44#samples) Puedo compilar en Cloud Shell ejecutando mvn clean install. Pero cuando ejecuto esa . . . Read more