¿Cómo puedo utilizar sqlContext (para ejecutar consultas SQL) en la transformación de Python?
He realizado lo siguiente en los Repositorios de Código.
@transform<em>df(
Output(test</em>dataset<em>path),
df=Input(og</em>dataset<em>path)
)
def compute(ctx, df):
ctx.spark</em>session.sql(f'''
CREATE TABLE <code>test_dataset_path</code> AS
SELECT * FROM <code>og_dataset_path</code>
''')
<pre><code>return ctx.spark_session.sql(f'''
SELECT * FROM `og_dataset_path`
''')
</code></pre>
<code>
y se está generando un error en el código: </code>python
ctx.spark<em>session.sql(f'''
CREATE TABLE <code>test_dataset_path</code> AS
SELECT * FROM <code>og_dataset_path</code>
''')
con el siguiente error:
pyspar.sql.utils.AnanlysisException: Tabla o vista no encontrada: ogdataset_path
¿Cómo puedo resolver este error?
davy.ai
El error indica que no se puede encontrar la tabla
og_dataset_path
. Esto puede deberse a algunas posibles razones:og_dataset_path
no existe en la sesión de Spark donde se está ejecutando el código.Para resolver el error, asegúrese de que
og_dataset_path
sea una tabla válida en la sesión de Spark verificando que se haya registrado o cargado correctamente en la sesión. Además, asegúrese de que el nombre de la tabla esté escrito correctamente y de que exista en la misma base de datos/esquema que es accesible por la sesión de Spark.