如何用脚本批量更新Gitlab中YAML文件的数据库连接URL？

一、使用sed命令快速批量替换（Linux/macOS环境） #

sed是系统自带的文本处理工具，适合无复杂YAML结构的批量替换场景，操作简单高效。

执行命令 #

假设所有应用配置文件都在当前目录的子文件夹中，执行以下命令即可完成全局替换：

# 定义新旧数据库URL
OLD_URL="jdbc:oracle:thin:@xyz-db-acmeDDD-ac1.its.mycomp.org:1521/ACME"
NEW_URL="jdbc:oracle:thin:@xyz-db-acmeMMM-at1.its.mycomp.org:1521/ACME"

# 递归查找所有YAML文件并替换内容
# macOS环境用此命令
find . -type f -name "*.yaml" -exec sed -i '' "s|$OLD_URL|$NEW_URL|g" {} \;

# Linux环境用此命令（如需备份原文件，将-i改为-i.bak）
find . -type f -name "*.yaml" -exec sed -i "s|$OLD_URL|$NEW_URL|g" {} \;

命令说明 #

• find . -type f -name "*.yaml"：递归查找当前目录下所有.yaml格式文件
• s|$OLD_URL|$NEW_URL|g：用|作为分隔符（避免URL中的/与分隔符冲突），g表示替换文件内所有匹配的旧URL
• -i ''/-i：表示直接修改原文件，Linux环境加.bak可生成原文件的备份副本

二、使用Python脚本精准替换（跨平台） #

如果YAML文件结构复杂，担心全局替换误改其他内容，可通过Python结合PyYAML库精准定位配置项进行替换。

步骤1：安装依赖库 #

pip install pyyaml

步骤2：编写批量替换脚本（batch_update_db_url.py） #

import yaml
import os

# 定义新旧数据库URL
OLD_URL = "jdbc:oracle:thin:@xyz-db-acmeDDD-ac1.its.mycomp.org:1521/ACME"
NEW_URL = "jdbc:oracle:thin:@xyz-db-acmeMMM-at1.its.mycomp.org:1521/ACME"

def update_yaml_file(file_path):
    # 读取YAML文件
    with open(file_path, 'r', encoding='utf-8') as f:
        try:
            config_data = yaml.safe_load(f)
        except yaml.YAMLError as e:
            print(f"处理文件{file_path}失败: {str(e)}")
            return

    # 递归遍历配置内容，替换目标URL
    def traverse_config(node):
        if isinstance(node, dict):
            for key, value in node.items():
                if isinstance(value, str) and OLD_URL in value:
                    node[key] = value.replace(OLD_URL, NEW_URL)
                traverse_config(value)
        elif isinstance(node, list):
            for idx, item in enumerate(node):
                if isinstance(item, str) and OLD_URL in item:
                    node[idx] = item.replace(OLD_URL, NEW_URL)
                traverse_config(item)

    traverse_config(config_data)

    # 写回修改后的配置
    with open(file_path, 'w', encoding='utf-8') as f:
        yaml.dump(config_data, f, default_flow_style=False, sort_keys=False, allow_unicode=True)
    print(f"已更新文件: {file_path}")

# 递归遍历所有YAML文件并执行替换
for root, _, files in os.walk('.'):
    for file in files:
        if file.endswith('.yaml'):
            full_path = os.path.join(root, file)
            update_yaml_file(full_path)

运行脚本 #

python batch_update_db_url.py

脚本说明 #

• 递归遍历所有YAML文件，精准定位包含旧URL的字符串进行替换，避免误改无关内容
• sort_keys=False保证修改后的YAML文件键顺序与原文件一致，避免格式混乱
• 支持嵌套结构的配置项（如spring.datasource.url）替换

注意事项 #

1. 先备份：执行批量操作前，建议用tar -czf config_backup.tar.gz */*.yaml打包备份所有配置文件
2. 先测试：选取一个测试应用的YAML文件单独执行替换，确认结果正确后再批量操作
3. Git校验：借助GitLab的版本控制，用git diff查看所有修改内容，确认无误后再提交变更

内容的提问来源于stack exchange，提问作者e25taki