如何用Java将XML文件转成Avro文件？求xml-avro仓库详细运行教程

一、环境准备 #

• 本地需安装JDK 8+和Maven 3.x，并配置好环境变量
• 将xml-avro仓库代码拉取到本地
• 进入仓库根目录，执行命令：mvn clean install，完成项目编译与本地Maven仓库安装

二、核心文件说明（必须先理清这三类文件） #

1. XML Schema（.xsd） #

用于约束输入XML的结构，确保输入XML符合预设格式，仓库示例文件如src/test/resources/user.xsd。

2. Avro Schema（.avsc） #

定义输出Avro文件的数据结构，以JSON格式编写，示例文件如src/test/resources/user.avsc。

3. 映射文件（.xml） #

建立XML节点/属性与Avro字段的对应关系，告诉转换器如何将XML数据映射到Avro结构，示例文件如src/test/resources/user-mapping.xml。

三、编写转换代码（新手可直接基于示例改造） #

参考仓库内XmlAvroConverterTest测试类，核心转换步骤如下：

1. 加载三类核心文件：

   // 加载XML Schema
   Schema xmlSchema = XmlSchema.parse(new File("你的XSD文件路径"));
   // 加载Avro Schema
   Schema avroSchema = new Schema.Parser().parse(new File("你的Avsc文件路径"));
   // 加载映射文件
   Mapping mapping = Mapping.parse(new File("你的映射文件路径"));
   

2. 初始化转换器：

   XmlAvroConverter converter = new XmlAvroConverter(xmlSchema, avroSchema, mapping);
   

3. 读取XML并转换为Avro记录：

   File inputXml = new File("输入XML文件路径");
   GenericRecord avroRecord = converter.convert(inputXml);
   

4. 将Avro记录写入文件：

   DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>(avroSchema);
   DataFileWriter<GenericRecord> dataFileWriter = new DataFileWriter<>(datumWriter);
   // 创建输出Avro文件并写入记录
   dataFileWriter.create(avroSchema, new File("输出Avro文件路径"));
   dataFileWriter.append(avroRecord);
   // 关闭资源
   dataFileWriter.close();
   

四、运行项目 #

• 将你的XML、XSD、Avsc、映射文件放到项目src/main/resources目录下
• 编写主类（如XmlToAvroMain），整合上述代码
• 执行命令运行：mvn exec:java -Dexec.mainClass="你的主类全路径"，或直接在IDE中运行主类
• 运行完成后，即可在指定路径找到生成的Avro文件

五、常见问题排查 #

• 依赖缺失：重新执行mvn clean install确保项目依赖安装完整
• XML格式错误：先验证XML是否符合对应XSD的约束
• 映射错误：核对映射文件中XML节点路径与Avro字段名是否一一对应

内容的提问来源于stack exchange，提问作者G Anubhav