如何从GitLab远程仓库批量提取指定变量并维护数据库

针对你遇到的问题，有两种可行的思路，取决于你是否能将目标GitLab仓库克隆到本地：

方案一：克隆仓库后动态导入（适合频繁同步） #

如果可以克隆仓库，这种方式效率最高，因为每次同步只需要拉取增量代码：

1. 先把目标仓库克隆到本地，之后每次执行同步时拉取最新代码
2. 使用importlib.util动态导入文件，替代固定文件名的from ... import语法

示例代码：

import os
import importlib.util
import git

# 同步仓库代码
repo_path = "/本地克隆的仓库路径"
repo = git.Repo(repo_path)
repo.remotes.origin.pull()  # 拉取最新更新

# 遍历所有.py文件（可根据需求调整文件类型）
all_files = [
    os.path.join(root, file)
    for root, _, files in os.walk(repo_path)
    for file in files
    if file.endswith(".py")
]

db = []
for file_path in all_files:
    # 动态加载文件为模块
    spec = importlib.util.spec_from_file_location("temp_module", file_path)
    temp_module = importlib.util.module_from_spec(spec)
    spec.loader.exec_module(temp_module)
    
    # 检查并提取变量
    if hasattr(temp_module, "var1") and hasattr(temp_module, "var2"):
        db.append({"var1": temp_module.var1, "var2": temp_module.var2})

方案二：通过GitLab API获取文件内容并解析（无法克隆仓库时用） #

如果只能通过GitLab提供的原始文件链接获取内容，可以用API遍历所有文件，然后解析文件内容提取变量：

安全优先：用AST解析变量 #

避免执行未知代码，用AST语法树解析提取变量值（适合变量是基础类型的场景）：

import requests
import ast

# GitLab配置
GITLAB_API_URL = "https://你的GitLab域名/api/v4"
PROJECT_ID = "目标项目ID"
PRIVATE_TOKEN = "你的API令牌"

# 获取仓库所有文件路径
def get_all_files(project_id, token):
    files = []
    page = 1
    while True:
        url = f"{GITLAB_API_URL}/projects/{project_id}/repository/tree?per_page=100&page={page}&recursive=1"
        headers = {"PRIVATE-TOKEN": token}
        resp = requests.get(url, headers=headers)
        resp.raise_for_status()
        items = resp.json()
        if not items:
            break
        # 筛选目标文件类型
        files.extend([item["path"] for item in items if item["type"] == "blob" and item["path"].endswith(".py")])
        page += 1
    return files

# 从文件内容提取var1和var2
def extract_vars(content):
    var_map = {}
    tree = ast.parse(content)
    for node in ast.walk(tree):
        if isinstance(node, ast.Assign):
            for target in node.targets:
                if isinstance(target, ast.Name) and target.id in ["var1", "var2"]:
                    # 仅支持基础类型（字符串、数字、列表、字典等）
                    var_map[target.id] = ast.literal_eval(node.value)
    return var_map

# 主逻辑
all_files = get_all_files(PROJECT_ID, PRIVATE_TOKEN)
db = []
for file_path in all_files:
    # 获取文件原始内容
    encoded_path = requests.utils.quote(file_path)
    url = f"{GITLAB_API_URL}/projects/{PROJECT_ID}/repository/files/{encoded_path}/raw"
    headers = {"PRIVATE-TOKEN": PRIVATE_TOKEN}
    resp = requests.get(url, headers=headers)
    if resp.status_code == 200:
        vars = extract_vars(resp.text)
        if "var1" in vars and "var2" in vars:
            db.append({"var1": vars["var1"], "var2": vars["var2"]})

兼容复杂变量：用exec执行（需信任仓库代码） #

如果变量是复杂对象（比如类实例、自定义函数），可以用exec在隔离命名空间中执行文件内容，再提取变量：

def extract_vars(content):
    namespace = {}
    exec(content, namespace)
    return {k: namespace[k] for k in ["var1", "var2"] if k in namespace}

优化频繁同步的小技巧 #

• 克隆仓库的方式：可以记录上次同步的commit ID，只处理新增/修改的文件，减少遍历范围
• API方式：利用GitLab API的compare接口，对比上次同步的commit和最新commit，只获取变更的文件，避免每次遍历全量文件

内容的提问来源于stack exchange，提问作者ETray