Spark2加载Hive事务表至PySpark DataFrame报错求助

错误原因 #

报错中的NumberFormatException是因为Spark通过JDBC读取数据时，自动推断的列类型与实际数据不匹配：某列被识别为数值类型（如int、long），但数据中存在带下划线的字符串"0289756_0000"，无法完成数值转换，最终触发执行异常。

解决方案 #

针对该问题，以下几种方法可以尝试：

1. 自定义列类型，强制将问题列设为字符串 #

在JDBC读取配置中，通过customSchema参数明确指定所有列的类型，把出现转换错误的列强制声明为STRING类型。修改后的代码示例：

# 替换为实际表的列名和对应类型，假设问题列名为target_col
custom_schema = "target_col STRING, col1 INT, col2 DATE, ..."

df = spark.read \
    .format("jdbc") \
    .option("url", jdbc_url) \
    .option("dbtable", "database.table") \
    .option("customSchema", custom_schema) \
    .options(**properties) \
    .load()

df.show()

2. 使用Hive原生方式读取（替代JDBC） #

既然你的SparkSession已经启用了Hive支持(enableHiveSupport())，可以直接通过Hive表名读取数据，这种方式对Hive事务表的兼容性更好：

# 直接通过Hive库表名读取数据
df = spark.sql("SELECT * FROM database.table")
df.show()

注意：使用该方法需要确保Spark已正确配置Hive元数据（如hive-site.xml放置在Spark配置目录），且当前用户拥有该Hive表的访问权限。

3. 验证调整后的结果 #

修改代码后，先执行df.printSchema()确认列类型是否符合预期，再调用df.show()验证数据是否能正常加载。

内容的提问来源于stack exchange，提问作者Quatervois