如何自动将BigQuery表Schema导出/转换为YAML格式？

方法1：Python脚本批量处理 #

利用Python的json和pyyaml库，可以快速实现JSON到YAML的转换，适合处理大量复杂表结构。

1. 单表Schema导出为JSON：

bq show --schema --format=json project_id.dataset_id.table_id > table_schema.json

2. 编写批量转换脚本（示例：json2yaml.py）：

import json
import yaml
import os

# 创建输出目录（如果不存在）
os.makedirs('./schema_yamls', exist_ok=True)

# 遍历JSON Schema目录下的所有文件
for filename in os.listdir('./schema_jsons'):
    if filename.endswith('.json'):
        # 读取JSON内容
        with open(f'./schema_jsons/{filename}', 'r') as json_file:
            schema_data = json.load(json_file)
        # 转换为YAML并保留字段顺序
        yaml_content = yaml.dump(schema_data, sort_keys=False, default_flow_style=False)
        # 保存YAML文件
        yaml_filename = filename.replace('.json', '.yaml')
        with open(f'./schema_yamls/{yaml_filename}', 'w') as yaml_file:
            yaml_file.write(yaml_content)

3. 批量导出数据集内所有表的JSON Schema：
   用bash循环配合bq ls导出目标数据集下所有表的Schema：

DATASET="project_id.dataset_id"
mkdir -p schema_jsons
# 遍历数据集内所有表，导出Schema JSON
for table in $(bq ls --format=csv "$DATASET" | tail -n +2 | cut -d',' -f1); do
    bq show --schema --format=json "$DATASET.$table" > "schema_jsons/$table.json"
done

执行完上述命令后，运行Python脚本即可完成批量转换。

方法2：命令行工具组合（jq + yq） #

如果偏好命令行操作，可以用jq处理JSON，yq（v4及以上版本）实现格式转换，单表转换命令：

bq show --schema --format=json project_id.dataset_id.table_id | yq -P > table_schema.yaml

批量处理的bash循环：

DATASET="project_id.dataset_id"
mkdir -p schema_yamls
for table in $(bq ls --format=csv "$DATASET" | tail -n +2 | cut -d',' -f1); do
    bq show --schema --format=json "$DATASET.$table" | yq -P > "schema_yamls/$table.yaml"
done

注：需提前通过包管理器（如brew、apt）安装jq和yq。

关键注意点 #

• 字段顺序保留：Python脚本中sort_keys=False、yq的-P参数，都能保证转换后的YAML字段顺序与原BigQuery Schema一致。
• 复杂结构兼容：两种方法都能完美处理BigQuery的嵌套RECORD、重复字段等复杂结构，层级关系会完整保留。

内容的提问来源于stack exchange，提问作者Sachiko