如何编写OrientDB ETL配置以处理嵌套XML集合？

我来帮你搞定这个嵌套XML节点的提取问题！你的核心问题在于原配置只处理了<CD>的直接子节点，没对新增的嵌套<ADD>节点做解析，所以才会出现ADD字段为空的情况。

问题原因分析 #

你原来的tagsAsAttribute: ["CATALOG.CD"]配置，只会把<CD>下的直接子标签自动转为属性，但嵌套在<ADD>里的<PRICE>和<YEAR>属于二级节点，不会被自动识别，自然提取不到数据。

解决方案：两种配置方式可选 #

方式1：直接提取嵌套节点的字段（推荐）

如果希望把PRICE和YEAR作为<CD>对应的顶点的独立属性，可以显式指定每个字段的XML路径：

"extractor" : {
  "xml": {
    "rootNode": "CATALOG.CD",
    "fields": [
      {"fieldName": "TITLE", "path": "TITLE"},
      {"fieldName": "ARTIST", "path": "ARTIST"},
      {"fieldName": "COUNTRY", "path": "COUNTRY"},
      {"fieldName": "COMPANY", "path": "COMPANY"},
      {"fieldName": "PRICE", "path": "ADD.PRICE", "type": "float"},
      {"fieldName": "YEAR", "path": "ADD.YEAR", "type": "integer"}
    ]
  }
},

这里通过path参数明确指定嵌套节点的位置，还可以通过type参数指定数据类型，避免后续入库时出现类型错误。

方式2：将<ADD>作为嵌入式文档存储

如果希望保留<ADD>的嵌套结构，把它作为一个嵌入式文档属性存入OrientDB，可以这样配置：

"extractor" : {
  "xml": {
    "rootNode": "CATALOG.CD",
    "fields": [
      {"fieldName": "TITLE", "path": "TITLE"},
      {"fieldName": "ARTIST", "path": "ARTIST"},
      {"fieldName": "COUNTRY", "path": "COUNTRY"},
      {"fieldName": "COMPANY", "path": "COMPANY"},
      {"fieldName": "ADD", "path": "ADD", "type": "embedded"}
    ]
  }
},

这样入库后，CD顶点会有一个ADD属性，值是包含PRICE和YEAR的嵌套对象。

完整ETL配置示例 #

给你一个可直接参考的完整配置，包含数据源、提取、转换和加载全流程：

{
  "source": {
    "file": {
      "path": "./your_catalog.xml"
    }
  },
  "extractor": {
    "xml": {
      "rootNode": "CATALOG.CD",
      "fields": [
        {"fieldName": "title", "path": "TITLE"},
        {"fieldName": "artist", "path": "ARTIST"},
        {"fieldName": "country", "path": "COUNTRY"},
        {"fieldName": "company", "path": "COMPANY"},
        {"fieldName": "price", "path": "ADD.PRICE", "type": "float"},
        {"fieldName": "year", "path": "ADD.YEAR", "type": "integer"}
      ]
    }
  },
  "transformers": [
    {
      "vertex": {
        "class": "CD"
      }
    }
  ],
  "loader": {
    "orientdb": {
      "dbURL": "plocal:/path/to/your/database",
      "dbUser": "admin",
      "dbPassword": "admin",
      "dbAutoCreate": true,
      "batchCommit": 1000
    }
  }
}

按照这个配置调整后，嵌套节点的数据就能正常提取并加载到OrientDB里了。

内容的提问来源于stack exchange，提问作者mcmagn