如何在PySpark JDBC的dbtable模式下使用Oracle ora_rowscn伪列？

问题原因 #

直接通过dbtable指定Oracle表名时，Spark JDBC只会加载表的实际物理列，不会自动包含ORA_ROWSCN这类Oracle伪列；而你尝试用expr("ora_rowscn")是在Spark SQL层面解析，Spark本身不识别Oracle的伪列语法，所以会报错。

解决方案：用子查询方式读取 #

要获取伪列，需要在dbtable选项中传入Oracle端的查询语句，把伪列明确包含在查询结果里，让Spark JDBC能识别到这个字段。

修改后的读取代码示例：

jdbcDF = spark.read.format("jdbc") \
    .option("url", jdbcUrl) \
    .option("driver", jdbcDriver) \
    .option("fetchsize", 150000) \
    # 用子查询包裹，明确返回伪列ORA_ROWSCN
    .option("dbtable", f'(SELECT t.*, ORA_ROWSCN FROM {table_schema}.{table_name} t) AS temp_table') \
    .load()

# 现在可以直接选择ora_rowscn字段
click_field_name = ['field1', 'field2', 'ora_rowscn']

jdbcDF.select(*click_field_name, lit(run_id).alias("run_id")) \
    .write.format("jdbc") \
    .mode("append") \
    .option("url", jdbcClickUrl) \
    .option("user", login_click) \
    .option("dbschema", schema_click) \
    .option("dbtable", table_name) \
    .option("password", pswd_click) \
    .option("truncate", "true") \
    .option("driver", jdbcClickDriver) \
    .save()

注意事项 #

• 子查询必须给一个别名（比如temp_table），否则Oracle JDBC驱动可能会报错
• 如果只需要部分列+伪列，可以在子查询里明确指定列，避免读取全表数据（比如SELECT field1, field2, ORA_ROWSCN FROM ...），提升性能

内容的提问来源于stack exchange，提问作者Alex