使用PySpark将自定义Schema的Avro写入HDFS时遇Py4J错误

错误根源分析 #

从报错栈可以看出，问题出在Avro Schema的解析阶段：Jackson无法解析传入的schema内容，导致Java端抛出异常。核心原因是：

• Spark的avroSchema选项要求传入标准JSON字符串格式的Avro Schema，而非Python字典或Avro库解析后的Schema对象
• 额外传递的recordName和recordNamespace参数与自定义Schema中的定义冲突，干扰了Schema解析流程

修正方案 #

1. 正确转换Schema为JSON字符串 #

将Python字典格式的Schema通过json.dumps()转换为合法的JSON字符串，确保格式符合Avro规范。

2. 移除冲突的配置项 #

自定义Schema中已经定义了namespace和name（即recordName），无需再通过.option()传递这两个参数，否则会引发解析冲突。

3. 确保DataFrame与Schema完全匹配 #

检查DataFrame的字段名、类型（尤其是枚举值）必须与自定义Schema完全一致，比如枚举字段的取值必须在Schema定义的symbols列表中。

修正后的代码 #

import json

# 自定义Avro Schema字典
schema = {
    "namespace": "namespace.name",
    "type": "record",
    "name": "customRecordName",
    "fields": [
        {
            "name":"header", 
            "type": {
                "type": "record",
                "name": "Header",
                "fields" : [
                    {"name":"_aField", "type":{"type":"enum", "name":"AField", "symbols":["a","b","c","d","e","f","g","h","i"]}},
                    {"name":"_anotherField", "type":{"type":"enum", "name":"AnotherField", "symbols":["z","y","x","w","v"]}}
                ]
            }
        },
        {"name":"anID", "type":"int"},
        {"name":"type", "type":{"type":"enum", "name":"Type", "symbols":["l","m","n"]}},
        {"name":"name", "type":"string"}
    ]
}

# 转换为JSON字符串
schema_json = json.dumps(schema)

# 写入Avro文件，仅保留avroSchema选项
df.write.format("avro")\
    .option("avroSchema", schema_json)\
    .save("hdfs://namenode/an/hdfs/path/1234")

额外注意事项 #

• 依赖检查：确保PySpark启动时加载了对应版本的avro包，Spark 3.3.2需使用org.apache.spark:spark-avro_2.12:3.3.2，可通过pyspark --packages org.apache.spark:spark-avro_2.12:3.3.2启动
• 枚举值校验：DataFrame中枚举类型的字段值必须严格匹配Schema中symbols列表的内容，大小写敏感
• 避免混用包：Spark 2.4+官方已集成Avro支持，无需使用com.databricks.spark.avro格式，两者可能存在兼容性问题

内容的提问来源于stack exchange，提问作者mojones101