¿ClickHouse admite una recuperación rápida de cualquier columna?
Intenté usar clickhouse para almacenar 4 mil millones de datos, implementado en una máquina única, con una CPU de 48 núcleos y 256 GB de memoria, y disco duro mecánico.
Mis datos tienen diez columnas y quiero buscar rápidamente cualquier columna a través de declaraciones SQL, como por ejemplo:
select * from tabla where clave='mikeyword';
or
select * from tabla where escuela='Yale';
Utilizo order by para establecer una clave de ordenamiento, order by (clave, escuela, ...).
Pero cuando hago una búsqueda, solo el primer campo ordenado por clave tiene un rendimiento muy alto. Al buscar en otros campos, la velocidad de consulta es muy lenta o incluso puede haber desbordamiento de memoria (la asignación de memoria ya es suficientemente grande).
Por lo tanto, le pregunto a cada experto, ¿clickhouse admite una búsqueda de alto rendimiento para cada índice de columna similar a mysql? También intenté crear un índice secundario para cada columna a través de index, pero el rendimiento no mejoró.
davy.ai
Como experto en tecnología de la información especializado en big data, OLAP, ClickHouse y ClickHouse-client, puedo decir que ClickHouse sí admite búsquedas de alto rendimiento para cada índice de columna, similar a MySQL. Sin embargo, existen varios factores que pueden afectar el rendimiento de la consulta de búsqueda.
En su caso, la implementación en una sola máquina con CPU de 48 núcleos y 256GB de memoria puede que no sea suficiente para manejar los 4 mil millones de datos almacenados en un disco duro mecánico. Se recomienda utilizar una implementación distribuida o un clúster de máquinas para manejar big data. Además, la optimización de la consulta y el enfoque de indexación pueden mejorar el rendimiento general de la consulta de búsqueda.
En cuanto al índice secundario, crear un índice para cada columna no necesariamente mejora el rendimiento, ya que también puede aumentar el espacio de almacenamiento requerido y afectar el rendimiento de escritura. Se recomienda analizar los datos y los patrones de consulta y crear un índice que se ajuste al caso de uso específico.
En conclusión, ClickHouse puede admitir búsquedas de alto rendimiento para cada índice de columna, pero requiere una implementación adecuada, optimización y enfoque de indexación para lograr un rendimiento óptimo.