如何将Google Cloud Storage中XML文件转换为JSON/CSV并存入另一GCS存储桶？

Dataflow提供了开箱即用的XML转换模板，不用自己写Python代码：

• 打开Google Cloud Console进入Dataflow页面，点击「创建作业」
• 在「模板」下拉菜单中选择「XML到BigQuery」模板（若需直接输出到GCS，可先转BigQuery再导出）
• 配置核心参数：
  • 输入GCS路径：填写源XML文件所在的GCS桶路径（例：gs://your-source-bucket/*.xml）
  • Schema配置：根据你的XML结构提供XPath或预定义的schema文件，用于解析XML节点
  • 后续导出：若先转BigQuery，可在BigQuery控制台将数据导出到目标GCS桶，选择CSV或JSON格式

如果不想用Dataflow，可通过Cloud Functions触发自动转换，以下是可直接复用的Python脚本：

1. 打开Cloud Functions页面，创建新函数，选择Python 3.9+运行环境
2. 替换默认代码为以下内容（记得修改桶名和XML解析逻辑）：

import xml.etree.ElementTree as ET
import json
import csv
from google.cloud import storage

def xml_convert(event, context):
    # 配置参数
    source_bucket = "你的源GCS桶名"
    target_bucket = "你的目标GCS桶名"
    convert_type = "json"  # 可改为"csv"

    # 获取触发的XML文件
    file_name = event['name']
    client = storage.Client()
    src_blob = client.bucket(source_bucket).blob(file_name)
    xml_content = src_blob.download_as_text()

    # 解析XML（需根据你的XML结构调整节点标签）
    root = ET.fromstring(xml_content)
    data_list = []
    for item in root.findall('item'):  # 替换为你的XML子节点标签
        item_data = {}
        for child in item:
            item_data[child.tag] = child.text
        data_list.append(item_data)

    # 生成输出内容
    if convert_type == "json":
        output = json.dumps(data_list, indent=2)
        output_file = file_name.replace('.xml', '.json')
    else:
        if data_list:
            headers = data_list[0].keys()
            rows = [','.join(headers)] + [','.join([str(d[h]) for h in headers]) for d in data_list]
            output = '\n'.join(rows)
        else:
            output = ""
        output_file = file_name.replace('.xml', '.csv')

    # 上传到目标桶
    target_blob = client.bucket(target_bucket).blob(output_file)
    target_blob.upload_from_string(output)

3. 配置触发方式：选择「Cloud Storage」，事件类型为「最终创建」，关联你的源GCS桶
4. 部署后，上传XML文件到源桶会自动转换并同步到目标桶

如果仅需处理少量文件，用Cloud Shell命令行更高效：

1. 安装XML处理工具：sudo apt-get install xmlstarlet
2. 下载GCS中的XML文件：gsutil cp gs://your-source-bucket/your-file.xml .
3. 转JSON：xmlstarlet sel -t -m "//item" -v "json-to-string(*)" your-file.xml > output.json
4. 转CSV（需指定具体字段）：xmlstarlet sel -t -m "//item" -v "field1" -o "," -v "field2" your-file.xml > output.csv
5. 上传到目标桶：gsutil cp output.json gs://your-target-bucket/

内容的提问来源于stack exchange，提问作者Matas