Spark加载CSV到BigQuery时十六进制值类型不匹配错误求助

问题根源是Spark读取CSV时自动将该列推断为数值类型，导致字符串"3F"被错误解析为数值3；后续写入BigQuery时，数值3又被转成了浮点数3.0。你尝试的HEX_STRING转换无效，是因为此时原始字符串已经被破坏，转换的是错误的数值而非原始的"3F"。

具体解决步骤： #

1. 读取CSV时强制指定列类型为字符串

读取阶段必须确保Spark保留原始字符串格式，不要让它自动推断类型。通过自定义Schema实现：

Scala 代码示例：

import org.apache.spark.sql.types.{StringType, StructField, StructType}

// 定义完整Schema，替换为你的实际列结构
val csvSchema = StructType(Seq(
  StructField("other_column1", StringType, nullable = true),
  StructField("csirsconfig", StringType, nullable = true),
  StructField("other_column2", IntegerType, nullable = true)
))

val df = spark.read.schema(csvSchema).csv("/path/to/your/csv/file")

Python 代码示例：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType

# 定义完整Schema，替换为你的实际列结构
csv_schema = StructType([
    StructField("other_column1", StringType(), True),
    StructField("csirsconfig", StringType(), True),
    StructField("other_column2", IntegerType(), True)
])

df = spark.read.schema(csv_schema).csv("/path/to/your/csv/file")

执行df.printSchema()确认csirsconfig列类型为string，且df.select("csirsconfig").show()显示值为"3F"。

2. 写入BigQuery时显式指定列类型为STRING

即使Spark中列类型正确，BigQuery的自动类型推断仍可能出错，需在写入时明确映射类型：

Scala 代码示例：

df.write
  .format("bigquery")
  .option("table", "your-gcp-project.your-dataset.your-table")
  // 明确指定列类型，多列用逗号分隔
  .option("schema", "csirsconfig:STRING")
  .mode("overwrite") // 根据需求选择append/overwrite等
  .save()

Python 代码示例：

df.write.format("bigquery") \
  .option("table", "your-gcp-project.your-dataset.your-table") \
  .option("schema", "csirsconfig:STRING") \
  .mode("overwrite") \
  .save()

如果目标BigQuery表已存在，需确保表中csirsconfig列的类型是STRING，而非FLOAT64或其他数值类型——若表结构错误，先修改表结构再写入。

3. 排查中间转换逻辑

检查读取后到写入前的代码，确保没有意外将csirsconfig列转换为数值类型（比如误用cast(IntegerType)、UDF错误处理等）。

内容的提问来源于stack exchange，提问作者chanchal ahuja