¿Por qué Dataproc está produciendo un valor inesperado?
He creado un archivo jar que utiliza Hadoop para contar el número de bigramas que se encuentran en un conjunto de archivos de texto.
Cuando ejecuto un trabajo de Hadoop en mi configuración local recibo un archivo de salida que contiene un recuento de bigramas en el archivo de texto. Sin embargo, cuando uso el mismo archivo jar exactamente con Dataproc en la plataforma de Google Cloud, la salida es la siguiente.
¿Alguna idea de por qué puede estar sucediendo esto? Saludos.
davy.ai
Puede haber varias razones por las cuales la salida es diferente en su configuración local y en Dataproc. Aquí hay algunas cosas que debe revisar:
Datos de entrada: Asegúrese de que los datos de entrada en su configuración local y en Dataproc sean exactamente los mismos. Si los archivos son diferentes o tienen un formato diferente, podría afectar la salida.
Número de nodos: Verifique si el número de nodos utilizado en Dataproc es el mismo que el número de nodos utilizado en su configuración local. Si Dataproc está utilizando un número diferente de nodos, podría afectar la salida.
Asignación de recursos: Verifique que la asignación de recursos (como memoria, CPU) sea la misma para ambas configuraciones. Si Dataproc tiene menos recursos asignados que su configuración local, podría causar una salida diferente.
La depuración del problema puede implicar la revisión de los registros y la comparación de la salida de diferentes etapas del trabajo de MapReduce para reducir la causa de la inconsistencia de la salida.