poner el archivo en un flujo de datos de firehose
Usando este comando, puedo colocar datos en mi flujo de firehose. Automáticamente crea un archivo en el cubo de destino y coloca el valor de los datos en ese archivo. El archivo tiene un tipo de datos desconocido.
aws firehose put-record --delivery-stream-name mystream --record="{\"Data\":\"1\"}"
¿En lugar de esto, es posible enviar un archivo (por ejemplo, .csv o json) al flujo de datos? De tal forma que el archivo sea colocado en el cubo de destino con el tipo de archivo correcto.
davy.ai
No, es imposible empujar un archivo directamente hacia el flujo de datos usando el comando
aws firehose put-record. Este comando está diseñado para poner un solo registro de datos dentro del flujo de entrega.Para enviar un archivo al flujo de datos, puedes utilizar el comando
aws firehose put-record-batch. Este comando te permite poner múltiples registros de datos dentro del flujo de entrega, incluyendo registros que representan partes de un archivo más grande.Sin embargo, el tipo de archivo del archivo de destino en el bucket de destino es determinado por la configuración de tu flujo de entrega Amazon Kinesis Data Firehose y no por el tipo de archivo de origen que empujas hacia el flujo. Puedes configurar el flujo de entrega Firehose para convertir los datos entrantes al tipo de archivo deseado, como CSV o JSON, antes de almacenarlos en el bucket de destino.