PySpark读取Oracle数据库触发ORA-00933错误的原因排查

这个问题是Spark/Databricks处理无过滤条件的简单查询时，触发了自动数据采样预览逻辑，但生成的SQL语法不符合Oracle规范导致的：

• 当执行SELECT * FROM test这类无过滤条件的查询时，Databricks会尝试生成采样查询快速返回部分数据（比如LIMIT 10），但错误使用了MySQL/PostgreSQL风格的LIMIT子句——Oracle并不支持该语法，它的限制行语法是ROWNUM或FETCH FIRST N ROWS ONLY。
• 当添加WHERE子句后，Spark会触发完整的谓词下推，不会启用采样逻辑，而是生成符合Oracle语法的完整查询，因此可以正常执行。

针对这个问题，可以通过以下几种方式解决：

1. 禁用自动采样预览
   在Databricks Notebook中设置Spark配置关闭预览采样：

   spark.conf.set("spark.databricks.preview.enabled", "false")
   

   或者在读取JDBC数据时，添加配置限制LIMIT下推行为：

   testDF = (spark.read
       .format("jdbc")
       .option("url", "jdbc:oracle:thin:@10.80.40.5:1526:D301")
       .option("dbtable", "SCHEMA_TEST.TABLE_TEST")
       .option("user", jdbcUsername)
       .option("password", jdbcPassword)
       .option("driver", "oracle.jdbc.driver.OracleDriver")
       .option("oracle.jdbc.timezoneAsRegion", "false")
       .option("fetchSize", "256")
       .option("pushDownLimit", "false")  # 添加该配置
       .load()
       .createOrReplaceTempView("test")
   )
   

2. 使用Oracle兼容的限制语法
   如果需要获取数据预览，手动使用Oracle支持的语法：

   SELECT * FROM test WHERE ROWNUM <= 10
   

   或者在DataFrame层面调用limit()方法，Spark会自动转换为Oracle兼容的SQL：

   testDF.limit(10).createOrReplaceTempView("test_limit")
   

3. 升级Databricks Runtime版本
   这个问题属于Runtime 12.0/Spark 3.3.1版本的JDBC语法转换bug，升级到13.x及以上版本的Databricks Runtime即可修复——新版本Spark优化了Oracle JDBC的语法转换逻辑。

4. 用子查询包装查询
   通过子查询的方式避免触发采样逻辑：

   SELECT * FROM (SELECT * FROM test) t
   

内容的提问来源于stack exchange，提问作者Arnold Souza