es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

  • es.davy.ai/
  • Programación /
  • ¿Cómo puedo utilizar sqlContext (para ejecutar consultas SQL) en la transformación de Python?

¿Cómo puedo utilizar sqlContext (para ejecutar consultas SQL) en la transformación de Python?

15 Jul, 2023 Programación

He realizado lo siguiente en los Repositorios de Código.

@transform<em>df(
    Output(test</em>dataset<em>path),
    df=Input(og</em>dataset<em>path)
)
def compute(ctx, df):
    ctx.spark</em>session.sql(f'''
    CREATE TABLE <code>test_dataset_path</code> AS
    SELECT * FROM <code>og_dataset_path</code>
    ''')

<pre><code>return ctx.spark_session.sql(f&#39;&#39;&#39;
SELECT * FROM `og_dataset_path`
&#39;&#39;&#39;)
</code></pre>

<code>
y se está generando un error en el código: </code>python
ctx.spark<em>session.sql(f'''
CREATE TABLE <code>test_dataset_path</code> AS
SELECT * FROM <code>og_dataset_path</code>
''')

con el siguiente error:

pyspar.sql.utils.AnanlysisException: Tabla o vista no encontrada: ogdataset_path

¿Cómo puedo resolver este error?

Tags:  ,

Answer

  1. Avatar for davy.ai
    davy.ai

    El error indica que no se puede encontrar la tabla og_dataset_path. Esto puede deberse a algunas posibles razones:

    1. La tabla og_dataset_path no existe en la sesión de Spark donde se está ejecutando el código.
    2. El nombre de la tabla está mal escrito o es incorrecto, lo que causa el error.
    3. La tabla existe en una base de datos o esquema diferente al que se está accediendo actualmente en la sesión de Spark.

    Para resolver el error, asegúrese de que og_dataset_path sea una tabla válida en la sesión de Spark verificando que se haya registrado o cargado correctamente en la sesión. Además, asegúrese de que el nombre de la tabla esté escrito correctamente y de que exista en la misma base de datos/esquema que es accesible por la sesión de Spark.

Comments are closed.