NoSuchMethodError: org.apache.hadoop.hive.ql.exec.Utilities.copyTableJobPropertiesToConf Error de método inexistente: org.apache.hadoop.hive.ql.exec.Utilities.copyTableJobPropertiesToConf

Cada Hola:

Hay una excepción que nunca antes había encontrado, por favor ver a continuación:

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.Utilities.copyTableJobPropertiesToConf(Lorg/apache/hadoop/hive/ql/plan/TableDesc;Lorg/apache/hadoop/conf/Configuration;)V
    at org.apache.spark.sql.hive.HadoopTableReader$.initializeLocalJobConfFunc(TableReader.scala:399)
    at org.apache.spark.sql.hive.HadoopTableReader.$anonfun$createOldHadoopRDD$1(TableReader.scala:314)
    at org.apache.spark.sql.hive.HadoopTableReader.$anonfun$createOldHadoopRDD$1$adapted(TableReader.scala:314)
    at org.apache.spark.rdd.HadoopRDD.$anonfun$getJobConf$8(HadoopRDD.scala:181)
    at org.apache.spark.rdd.HadoopRDD.$anonfun$getJobConf$8$adapted(HadoopRDD.scala:181)

El código es el siguiente:

import org.apache.spark.sql.SparkSession

object test {
    def main(args:Array[String]): Unit = {
        System.setProperty("HADOOP<em>USER</em>NAME", "nuochengze")
        val spark: SparkSession = SparkSession.builder()
                .appName("Test")
                .master("local[*]")
                .config("hadoop.home.dir", "hdfs://pc001:8082/user/hive/warehouse")
                .enableHiveSupport()
                .getOrCreate()
        spark.sql("use test")
        spark.sql(
            """
              |select * from emp
              |""".stripMargin).show()

        spark.close()
    }
}

Me encontré con un problema cuando utilizaba Spark para operar Hive:

Puedo realizar operaciones de DDL a través de spark.sql(…). Pero cuando intento realizar operaciones de DML, como select, se produce la excepción anterior. Sé que es un problema con el bloqueo de este método. Sin embargo, después de buscar en Internet, no encontré blogs relacionados que expliquen cómo solucionar este problema si falta este método.

¿Has encontrado esto antes? Si es así, ¿puedo pedir ayuda?

¡Gracias!