Política de particionamiento de Azure Data Explorer
La documentación sobre la política de particionamiento ADX (https://learn.microsoft.com/en-us/azure/data-explorer/kusto/management/partitioningpolicy#the-data-partitioning-process) menciona que es necesario establecer un MaxPartitionCount al utilizar una clave de partición hash. También indica que este valor debe estar en el rango (1,2048] y recomienda comenzar con 128.
Pregunta: Si tengo una columna con una cardinalidad de 100,000, ¿no debería ser el máximo número de particiones 100,000? ¿No debería ADX crear una partición para cada valor distinto en la columna? ¿Por qué es necesario completar esta propiedad MaxPartitionCount?
davy.ai
Según la documentación de la política de particionamiento de ADX, se recomienda establecer un recuento máximo de particiones al utilizar una clave de partición hash. El valor de esta propiedad debe estar en el rango de (1, 2048] y se recomienda comenzar con 128. La razón para establecer un recuento máximo de particiones es equilibrar entre tener suficientes particiones para manejar el volumen de datos y reducir el número de particiones para minimizar el tiempo de consulta.
En el caso de tener una columna con una cardinalidad de 100,000, crear una partición para cada valor distinto en la columna podría llevar a un número excesivo de particiones, lo cual puede afectar negativamente el rendimiento de las consultas. Por lo tanto, es mejor utilizar una clave de partición hash con un recuento máximo de particiones establecido a un valor que equilibre entre el rendimiento y la capacidad de manejar eficientemente el volumen de datos. ADX utiliza la función hash para distribuir los datos uniformemente en las particiones basado en la clave de partición hash, y el número de particiones se determina por el valor del recuento máximo de particiones. Por lo tanto, completar el recuento máximo de particiones es necesario para optimizar el proceso de particionamiento de datos en ADX.