es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: PYARROW

Tabla a PyObject * a través de pybind11

include <pybind11 pybind11.h=””> include <python.h> include <iostream> include <arrow python/pyarrow.h=””> include <arrow table.h=””> // Convertir la tabla de pyarrow a un objeto nativo C++ e imprimir su contenido void imprimirTabla(PyObject* tablaPy) { // convertir el objeto pyobject a tabla auto estado = arrow::py::unwrap_table(tablaPy); if (!estado.ok()) { std::cout << “Error al . . . Read more

No se puede pasar la tabla `pyarrow` a `arrow::Table`.

Estoy intentando pasar una tabla de pyarrow a c++ a través de pybind11. En este ejemplo, simplemente estoy tratando de imprimir el número de filas de una tabla de pyarrow pasada desde python. #include <pybind11 pybind11.h=””> #include <python.h> #include <iostream> #include <arrow python/pyarrow.h=””> // Convertir la tabla de pyarrow a . . . Read more

Parquet con columnas nulas en Pyarrow

Estoy leyendo una tabla en PostgreSQL utilizando pandas.read_sql, luego la convierto en una tabla de Pyarrow y la guardo particionada en el sistema de archivos local. Recuperar datos de schema.tabla de la base de datos def basename_file(date_partition): basename_file = f”{table_schema}.{table_name}-{date}.parquet” return basename_file def obtener_datos_tabla(table_schema, table_name, date): s = “” s . . . Read more

Leyendo archivo con Apache Arrow ArrowFileReader en .net

Estoy intentando leer el contenido de un archivo arrow pero no he logrado encontrar las funciones para obtener los datos reales de él. Tampoco puedo encontrar algún ejemplo útil para leer los datos. Por ejemplo, aquí. El ejemplo de código para escribir y leer en C#: // Escribir var recordBatch . . . Read more

Cómo corregir el archivo CSV con tipos mixtos si se está usando pyarrow para escribir el conjunto de datos en formato parquet?

Actualmente estoy utilizando pyarrow para leer un montón de archivos .csv desde un directorio en un conjunto de datos de la siguiente manera: import pyarrow.dataset as ds crear conjunto de datos a partir de archivos csv dataset = ds.dataset(input_pat, format=”csv”, exclude_invalid_files = True) Después de crear el conjunto de datos, . . . Read more