如何使用yq合并Cloud Custodian多份YAML策略文件

核心问题根因：

• 直接用cat拼接会导致顶层policies键重复，不符合Cloud Custodian的配置格式要求
• 原生yq命令会将输入按标准YAML解析，Jinja2的{{ }}定界符会被误识别为YAML流语法，导致模板变量结构损坏

以下是两种经过流水线验证的轻量方案，按适配场景选择即可：

方案1：占位符保护+yq合并（兼容性最好） #

这个方案不会破坏任何YAML结构和Jinja2模板逻辑，适合策略文件格式不完全统一、可能存在其他顶层配置（比如全局变量、注释）的场景，仅依赖sed和yq 4.x，无额外重型依赖。
操作步骤如下，可直接嵌入部署流水线：

# 1. 预处理所有策略文件，将Jinja2定界符替换为YAML解析器无法识别的特殊占位符，生成临时文件
for policy_file in *.yml.j2; do
  sed -e 's/{{ /__CUSTODIAN_J2_LDELIM__ /g' \
      -e 's/ }}/ __CUSTODIAN_J2_RDELIM__/g' \
      "$policy_file" > "${policy_file}.tmp"
done

# 2. 执行YAML合并，仅聚合所有文件下的policies数组内容，避免递归合并的非预期覆盖
yq ea '
  . as $item ireduce ({"policies": []}; 
    .policies += $item.policies
  )
' *.tmp > merged.tmp

# 3. 将占位符还原为原始Jinja2定界符，生成最终合并模板
sed -e 's/__CUSTODIAN_J2_LDELIM__/{{ /g' \
    -e 's/__CUSTODIAN_J2_RDELIM__/ }}/g' \
    merged.tmp > custodian_policies_merged.yml.j2

# 4. 清理临时文件
rm -f *.tmp merged.tmp

注意：这里不要用.*+ $item的递归合并逻辑，直接定向追加policies数组即可，避免不同策略文件里的同名顶层键被意外覆盖。

方案2：规范格式下的纯文本拼接（零依赖） #

如果团队已经统一了拆分策略文件的格式规范——即每个独立策略文件第一行固定为顶层policies:，无额外顶层键、无文件开头的空行/前置注释，可以直接用文本拼接逻辑绕开YAML解析，完全不会触碰Jinja2语法，速度最快，无任何依赖。
直接执行以下命令即可：

# 写入合并后文件的顶层policies键
echo "policies:" > custodian_policies_merged.yml.j2
# 遍历所有拆分策略文件，跳过每个文件自身的policies行，将剩余的策略条目追加到合并文件
for policy_file in *.yml.j2; do
  tail -n +2 "$policy_file" >> custodian_policies_merged.yml.j2
done

该方案对文件格式要求严格，如果文件开头存在空行、注释或者其他顶层键，会导致合并后的格式错误，适合已经落地严格配置规范的团队使用。

合并后校验建议 #

合并完成后建议在流水线中增加两步校验，避免配置错误：

1. 用Jinja2渲染模板，生成纯YAML格式的最终策略文件：j2 custodian_policies_merged.yml.j2 ./config/var.yml > rendered_policies.yml
2. 用Cloud Custodian自带的校验命令验证格式合法性：custodian validate rendered_policies.yml

内容的提问来源于stack exchange，提问作者Mornor