PySpark DataFrame通过JDBC查询时数据列名异常问题求助

类似问题及原因 #

确实遇到过这类情况，核心原因主要有两个：

• 窗口函数未指定唯一且不重复的别名，或别名与原表列名冲突，导致JDBC驱动解析结果集时混淆了列名与数据值；
• 旧版本Spark的JDBC模块对带窗口函数的查询结果元数据解析存在bug，无法正确识别窗口函数生成的列。

解决方案 #

1. 给窗口函数指定唯一别名
   必须为ROW_NUMBER()指定不与原表列重复的别名，示例写法：

   SELECT 
       user_id, 
       user_name,
       ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY create_time) AS row_seq
   FROM dev_01_db.target_table
   

   避免使用SELECT *, ROW_NUMBER()...这类无别名的写法，未命名的窗口函数列会直接导致元数据解析混乱。

2. 排查列名重复
   检查查询语句中所有列的名称，确保窗口函数生成的别名与原表列名无重复，注意部分数据库驱动对列名大小写敏感。

3. 升级Spark版本
   如果使用Spark 3.0以下版本，建议升级到3.0及以上版本——后续版本修复了多个JDBC结果集解析的bug，其中就包括窗口函数相关的元数据识别问题。

4. 调整JDBC连接参数
   尝试在JDBC URL中添加useColumnNames=true参数（针对MySQL等数据库），或调整fetchsize参数，部分场景下可以修正驱动的解析逻辑。

内容的提问来源于stack exchange，提问作者younus