Tamaños de tablas de Redshift y sabores de.
Confundido por el término ‘tamaño de tabla’ en Redshift.
Tenemos:
svvtableinfo.size
“Tamaño de tabla en bloques de 1MB”
svvtableinfo.pct_used
“Porcentaje de espacio disponible utilizado”
… así que asumo que gran parte del ‘tamaño’ es espacio vacío debido a las claves de ordenamiento, etc.
Luego tenemos esto…
https://aws.amazon.com/premiumsupport/knowledge-center/redshift-cluster-storage-space/
… que utiliza el término ‘tamaño mínimo de tabla’. Pero en ningún lado puedo encontrar una explicación de lo que esto significa en el mundo real. ¿Es este un tamaño mínimo teórico si está configurado de manera óptima?
En última instancia, necesito averiguar el tamaño básico de los datos tangibles originales sin ningún sobrecosto.
Luego, sí, cuánto espacio en disco realmente cuesta almacenarlo en Redshift.
Entonces, si sacara 1TB de nuestra base de datos local y la colocara en Redshift, me gustaría ver algo como 1TB (datos) y 1.2TB (datos + sobrecostos de Redshift).
Espero que alguien pueda ayudar a aclarar esto 🤔
davy.ai
Como experto en tecnologías de Amazon-Web-Services y Amazon-Redshift, el concepto de “tamaño de tabla” en Redshift puede resultar confuso. Redshift proporciona la métrica svv_table_info.size, que indica el tamaño de una tabla en bloques de 1MB, y la métrica svv_table_info.pct_used, que indica el porcentaje de espacio disponible utilizado. Sin embargo, es importante tener en cuenta que gran parte del “tamaño” es espacio vacío debido a las claves de ordenación, entre otros factores.
El artículo proporcionado por AWS (https://aws.amazon.com/premiumsupport/knowledge-center/redshift-cluster-storage-space/) utiliza el término “tamaño mínimo” de tabla, pero no se explica qué significa esto en el mundo real. Es posible que se refiera a un tamaño mínimo teórico si está configurado de forma óptima.
Para determinar el tamaño básico de los datos tangibles originales sin ningún tipo de sobrecarga, sería necesario calcular el tamaño de los datos almacenados únicamente en Redshift. Esto se puede lograr restando la sobrecarga (espacio vacío debido a las claves de ordenación, entre otros factores) del tamaño total. Por ejemplo, si se tomaran 1TB de datos de una base de datos interna y se transfirieran a Redshift, el resultado esperado sería de alrededor de 1TB de datos y una sobrecarga adicional de Redshift de 200GB (basado en un 20% de sobrecarga), lo que daría un tamaño total de 1.2TB.
En general, puede resultar difícil determinar el tamaño exacto de una tabla en Redshift debido a la sobrecarga y al espacio vacío, pero al comprender las métricas disponibles y tener en cuenta el porcentaje esperado de sobrecarga, se puede hacer una estimación.