Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy tratando de utilizar una conexión desde RDS en EMR a través de sqoop con el siguiente comando: sqoop list-tables \ –connect jdbc:postgresql://sportsdb.cxri########.us-east-2.rds.amazonaws.com:5432/SportsDB \ –username postgres \ –password mypassword Sin embargo, la conexión siempre expira. Según mi investigación, este error está relacionado con RDS siendo accesible públicamente y si las . . . Read more
Estoy realizando la función de agregación a nivel de columna como: df.groupby(“a”).agg(collect_set(b)) El valor de la columna está aumentando más allá del tamaño predeterminado de 2 GB. Detalles del error: La tarea de Spark falla con una IllegalArgumentException: Cannot grow BufferHolder error. java.lang.IllegalArgumentException: Cannot grow BufferHolder by size 95969 because . . . Read more
Tengo un script de shell simple donde necesito verificar si mi trabajo de EMR está en ejecución o no, y solo estoy imprimiendo un registro, pero parece que no funciona correctamente al programar el script usando cron, ya que siempre imprime la declaración del bloque if debido a que el . . . Read more
Así que he creado un clúster EMR y he editado las reglas de entrada del grupo de seguridad maestro para aceptar SSH desde ‘Mi IP’. Seguí este tutorial (https://www.youtube.com/watch?v=r-ig8zpP3EM). El único problema es el siguiente: cuando intento conectarme a la instancia utilizando PuTTY, obtengo el siguiente error: “No se puede . . . Read more
Tengo una AMI personalizada. Quiero crear un clúster EMR basado en esa AMI utilizando boto3. Revisé la documentación, encontré la versión de la CLI pero no encontré información sobre la versión de boto3. Versión de la CLI: aws emr create-cluster –name “Clúster con mi AMI personalizada” \ –custom-ami-id MiIDdeAMI –ebs-root-volume-size . . . Read more