Tag: PYARROW
include <pybind11 pybind11.h=””> include <python.h> include <iostream> include <arrow python/pyarrow.h=””> include <arrow table.h=””> // Convertir la tabla de pyarrow a un objeto nativo C++ e imprimir su contenido void imprimirTabla(PyObject* tablaPy) { // convertir el objeto pyobject a tabla auto estado = arrow::py::unwrap_table(tablaPy); if (!estado.ok()) { std::cout << “Error al . . . Read more
Estoy intentando pasar una tabla de pyarrow a c++ a través de pybind11. En este ejemplo, simplemente estoy tratando de imprimir el número de filas de una tabla de pyarrow pasada desde python. #include <pybind11 pybind11.h=””> #include <python.h> #include <iostream> #include <arrow python/pyarrow.h=””> // Convertir la tabla de pyarrow a . . . Read more
Estoy leyendo una tabla en PostgreSQL utilizando pandas.read_sql, luego la convierto en una tabla de Pyarrow y la guardo particionada en el sistema de archivos local. Recuperar datos de schema.tabla de la base de datos def basename_file(date_partition): basename_file = f”{table_schema}.{table_name}-{date}.parquet” return basename_file def obtener_datos_tabla(table_schema, table_name, date): s = “” s . . . Read more
Estoy intentando leer el contenido de un archivo arrow pero no he logrado encontrar las funciones para obtener los datos reales de él. Tampoco puedo encontrar algún ejemplo útil para leer los datos. Por ejemplo, aquí. El ejemplo de código para escribir y leer en C#: // Escribir var recordBatch . . . Read more
Actualmente estoy utilizando pyarrow para leer un montón de archivos .csv desde un directorio en un conjunto de datos de la siguiente manera: import pyarrow.dataset as ds crear conjunto de datos a partir de archivos csv dataset = ds.dataset(input_pat, format=”csv”, exclude_invalid_files = True) Después de crear el conjunto de datos, . . . Read more