Spark-Avro 2.12:3.2.0无法读取含空格列名的Avro文件问题咨询

问题原因 #

Spark 3.2.0对应的spark-avro插件（版本3.2.0）新增了列名合法性校验逻辑，默认会检查列名是否符合Spark SQL的标识符规范（不允许包含空格、特殊符号等），而旧版本（3.1.0及以下）没有这个严格校验，导致读取旧Avro文件时触发报错，且报错发生在读取阶段，无法通过alias()或withColumnRenamed()事后处理。

解决方案 #

方案1：读取时添加ignoreInvalidName选项跳过校验 #

在读取Avro文件的代码中，添加option("ignoreInvalidName", "true")，让spark-avro忽略列名的合法性校验，直接读取包含空格的列名：

spark.read.format('avro')
    .option("ignoreInvalidName", "true")
    .load('hdfs:///avrofile')

这个方法最直接，无需修改原有文件或复杂转换，适用于大多数场景。

方案2：修改Spark全局配置放宽列名规则 #

如果需要全局生效，可以在SparkSession初始化时添加配置，允许包含特殊字符的列名被解析：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("AvroReadWithSpaceColumns") \
    .config("spark.sql.parser.quotedRegexColumnNames", "true") \
    .config("spark.sql.avro.ignoreInvalidName", "true") \
    .getOrCreate()

# 之后正常读取
spark.read.format('avro').load('hdfs:///avrofile')

spark.sql.parser.quotedRegexColumnNames设置为true后，Spark会支持用反引号包裹带空格的列名（比如df.select(Test Data)），配合ignoreInvalidName确保读取时不触发校验。

方案3：读取为RDD后手动转换（备选） #

如果上述方案无法生效，可以先将Avro文件读取为RDD，手动解析Schema并重命名列名，再转换为DataFrame：

from pyspark.sql.types import StructType, StructField, StringType

# 先获取Avro的原始Schema（可以从文件或元数据中获取）
original_schema = StructType([
    StructField("Test Data", StringType(), True),
    # 其他列...
])

# 读取为RDD，再转换为DataFrame时重命名列
rdd = spark.sparkContext.newAPIHadoopFile(
    'hdfs:///avrofile',
    'org.apache.hadoop.mapreduce.lib.input.TextInputFormat',
    'org.apache.hadoop.io.LongWritable',
    'org.apache.avro.mapred.AvroValue',
    conf={'avro.schema.input.key': original_schema.json()}
)

# 解析数据并重命名列
df = rdd.map(lambda x: x[1].datum()).toDF(
    [col.replace(" ", "_") for col in original_schema.names]
)

这个方法步骤繁琐，仅作为前两种方案的备选。

注意事项 #

• 如果你后续需要写入Avro文件，建议在写入时提前处理列名（比如将空格替换为下划线），避免后续版本再次出现兼容性问题。
• 确保ignoreInvalidName选项仅在必要时使用，避免掩盖其他真正的列名格式问题。

内容的提问来源于stack exchange，提问作者YannickArmoogum