PySpark读取MariaDB表报错cannot decode value as Integer

报错里提示value 'c1' cannot be decoded as Integer，这里的'c1'正好是你表的第一列列名，本质是JDBC驱动读取结果集时把表头行当成了数据行解析，不是你表结构配置错了。pymysql能正常读取是因为它走的是Python原生的MySQL协议解析，和Java版MariaDB JDBC驱动的逻辑完全不共通，不能作为驱动无问题的依据。
按以下顺序排查即可：

• 先确认表内真实数据：直接连MariaDB执行SELECT c1 FROM test LIMIT 10;，确认c1字段没有存字符串'c1'的脏数据，排除真的存在值类型不匹配的情况。
• 检查驱动版本兼容性：你现在用的mariadb-java-client-3.0.6属于3.0大版本，这个版本重构了类型编解码逻辑，和Spark JDBC的默认读取逻辑存在已知兼容问题，会出现元数据读取错位、类型解析偏差的问题，是最高发的诱因。
• 检查JDBC连接参数：3.x版本驱动默认不会主动从information_schema拉取准确的表元数据，会根据返回结果集自行推断类型，容易出现列和值错位的情况。

按优先级试，基本前两个就能解决问题：

1. 更换稳定版驱动
   把3.0.6版本的MariaDB驱动替换为2.7.8稳定版，修改spark.jars配置指向新的jar包路径即可，不需要改动业务代码。2.x版本的驱动和Spark的兼容性经过大量生产验证，不会出现类型解析错位的问题。
2. 补全JDBC连接参数
   如果暂时不想换驱动，在JDBC连接URL末尾追加参数，强制驱动读取准确元数据、关闭容易触发错位的特性，修改后的URL示例：

   jdbc:mariadb://localhost:3306/xxxxx?user=xxxx&password=xxxx&useInformationSchema=true&useServerPrepStmts=false&tinyInt1isBit=false
   

3. 手动指定读取Schema
   不要让Spark自动推断表结构，读数据时显式传入定义好的Schema，从Spark侧固定字段类型和顺序，避免错位：

   from pyspark.sql.types import StructType, StructField, IntegerType, DoubleType, StringType
   
   # 提前定义表结构
   table_schema = StructType([
       StructField("c1", IntegerType(), nullable=True),
       StructField("c2", DoubleType(), nullable=True),
       StructField("c3", StringType(), nullable=True),
       StructField("c4", IntegerType(), nullable=True)
   ])
   
   # 读取时绑定schema
   dataframe_mysql = self.spark.read.format("jdbc")\
       .option('url', "jdbc:mariadb://localhost:3306/xxxxx?user=xxxx&password=xxxx")\
       .option('dbtable', "(SELECT * FROM test) tmp")\
       .option('driver', 'org.mariadb.jdbc.Driver')\
       .schema(table_schema)\
       .load()
   

4. 查询时强制类型转换
   修改dbtable里的子查询，对整数类型字段做显式类型转换，从数据库返回层面固定字段类型，消除驱动推断的歧义：

   .option('dbtable', "(SELECT CAST(c1 AS SIGNED) AS c1, c2, c3, CAST(c4 AS SIGNED) AS c4 FROM test) tmp")
   

内容的提问来源于stack exchange，提问作者chugaister