Java环境下Avro数据转换的XSLT等效工具及实现方向咨询

核心结论 #

Avro 生态中没有像 XSLT 那样专门为其设计的声明式转换语言，但可以通过以下几种 Java 方案实现需求：

方案一：手动字段映射（最直接可控） #

利用 Avro 自带的 GenericRecord 或 SpecificRecord API，手动读取源 Schema 的数据，逐个字段映射到目标 Schema 的对象中。适合字段不多、逻辑简单的场景。

示例代码（GenericRecord 方式）：

// 加载源和目标 Schema
Schema poSchema = new Schema.Parser().parse(new File("purchase-order.avsc"));
Schema invoiceSchema = new Schema.Parser().parse(new File("invoice.avsc"));

// 假设已获取源 PurchaseOrder 的 GenericRecord
GenericRecord purchaseOrder = ...;

// 构建目标 Invoice 的 GenericRecord
GenericRecord invoice = new GenericData.Record(invoiceSchema);
// 简单字段映射
invoice.put("invoiceId", purchaseOrder.get("orderId"));
invoice.put("customerName", purchaseOrder.get("buyerName"));
// 嵌套结构映射（比如订单明细转发票行项）
GenericArray<GenericRecord> poItems = (GenericArray<GenericRecord>) purchaseOrder.get("items");
GenericArray<GenericRecord> invoiceLineItems = new GenericData.Array<>(poItems.size(), invoiceSchema.getField("lineItems").schema());
for (GenericRecord item : poItems) {
    GenericRecord lineItem = new GenericData.Record(invoiceSchema.getField("lineItems").schema().getElementType());
    lineItem.put("lineId", item.get("itemId"));
    lineItem.put("amount", item.get("price"));
    invoiceLineItems.add(lineItem);
}
invoice.put("lineItems", invoiceLineItems);

方案二：使用 MapStruct 自动生成映射代码 #

MapStruct 是一款基于注解的代码生成工具，支持 Avro 的 SpecificRecord（通过 Avro 代码生成器生成的 Java 类），可以自动处理大部分字段映射逻辑，减少手动代码量。

步骤：

1. 添加 MapStruct 和 Avro 相关依赖
2. 定义映射接口：

@Mapper(componentModel = "spring") // 若用 Spring 环境，否则可省略
public interface PoToInvoiceMapper {
    PoToInvoiceMapper INSTANCE = Mappers.getMapper(PoToInvoiceMapper.class);

    // 字段名不同时显式指定映射关系
    @Mapping(source = "orderId", target = "invoiceId")
    @Mapping(source = "items", target = "lineItems")
    Invoice convert(PurchaseOrder purchaseOrder);

    // 嵌套对象的映射（如果需要自定义逻辑）
    @Mapping(source = "itemId", target = "lineId")
    @Mapping(source = "price", target = "amount")
    LineItem convert(Item item);
}

3. 调用映射：

PurchaseOrder po = ...; // 已生成的 Avro SpecificRecord 实例
Invoice invoice = PoToInvoiceMapper.INSTANCE.convert(po);

方案三：借助 JSON 转换工具间接实现（类 XSLT 声明式风格） #

如果偏好类似 XSLT 的声明式配置，可以先将 Avro 数据转成 JSON，用 JSON 转换工具（如 Jolt）完成转换后再转回 Avro。

示例流程：

1. 将 Avro GenericRecord 转为 Java Map/JSON 字符串
2. 用 Jolt 声明式转换规则（类似 XSLT 模板）处理 JSON
3. 将转换后的 JSON 转回 Avro GenericRecord

Jolt 转换规则示例（transform-spec.json）：

[
  {
    "operation": "shift",
    "spec": {
      "orderId": "invoiceId",
      "buyerName": "customerName",
      "items": {
        "*": {
          "itemId": "lineItems[&1].lineId",
          "price": "lineItems[&1].amount"
        }
      }
    }
  }
]

Java 代码示例：

// 加载 Jolt 转换规则
Chainr chainr = Chainr.fromSpec(JsonUtils.jsonToList(new File("transform-spec.json")));

// Avro 转 JSON Map
GenericRecord purchaseOrder = ...;
Map<String, Object> poMap = new GenericData.RecordConversion().convert(purchaseOrder, Map.class);

// 执行 JSON 转换
Map<String, Object> invoiceMap = (Map<String, Object>) chainr.transform(poMap);

// JSON Map 转回 Avro GenericRecord
GenericRecord invoice = new GenericData.Record(invoiceSchema);
invoiceMap.forEach(invoice::put);

方案四：集成框架辅助转换 #

如果使用 Apache Camel、Spring Integration 这类集成框架，可以利用框架的 Avro 组件和转换能力，在路由中定义转换逻辑。比如在 Camel 路由中调用自定义映射 Bean，或者用简单表达式完成字段映射。

内容的提问来源于stack exchange，提问作者paratrooper