如何通过GCP Dataform API查询指定目录下的文件与目录？

1. 明确searchFiles API的核心用法 #

这个REST API的端点是POST https://dataform.googleapis.com/v1beta1/projects/{projectId}/locations/{location}/repositories/{repositoryId}:searchFiles，通过filter参数指定路径规则就能精准查询目标目录下的内容，比如用path:definitions/**可以匹配definitions目录下所有文件和子目录。

2. 用客户端库认证工具+HTTP客户端实现调用 #

因为官方客户端库没封装这个接口，我们可以借助GCP的默认凭证工具获取授权，再用普通HTTP客户端发送请求，完全适配你的需求。

Python示例代码 #

import requests
from google.auth import default
from google.auth.transport.requests import Request

# 替换为你的实际参数
PROJECT_ID = "your-project-id"
LOCATION = "us-central1"  # 示例地域，替换为你的实际地域
REPOSITORY_ID = "your-repo-id"
TARGET_DIR = "definitions/"

# 获取GCP默认凭证（自动读取本地gcloud凭证/服务账号密钥等）
credentials, _ = default(scopes=["https://www.googleapis.com/auth/cloud-platform"])
credentials.refresh(Request())

# 构建请求URL和参数
api_url = f"https://dataform.googleapis.com/v1beta1/projects/{PROJECT_ID}/locations/{LOCATION}/repositories/{REPOSITORY_ID}:searchFiles"
request_body = {"filter": f"path:{TARGET_DIR}**"}

# 发送POST请求
headers = {
    "Authorization": f"Bearer {credentials.token}",
    "Content-Type": "application/json"
}

response = requests.post(api_url, json=request_body, headers=headers)
response.raise_for_status()  # 捕获请求错误

# 处理返回结果
search_results = response.json()
for file_item in search_results.get("files", []):
    print(f"路径: {file_item['path']}, 类型: {file_item['type']}")

注意事项 #

• 先安装依赖：pip install google-auth requests
• 默认凭证的生效场景包括本地开发（gcloud登录）、GCE/GKE等托管环境（自动获取服务账号）、本地服务账号密钥文件（通过环境变量GOOGLE_APPLICATION_CREDENTIALS指定）
• 调整filter参数可以控制查询范围：path:definitions/*只匹配目录下直接子项，path:definitions/**包含所有子目录内容

3. 快速验证方案（用gcloud CLI） #

如果需要快速验证查询逻辑，也可以直接用gcloud命令：

gcloud dataform repositories search-files \
  --project=your-project-id \
  --location=your-location \
  --repository=your-repo-id \
  --filter="path:definitions/**"

内容的提问来源于stack exchange，提问作者Redhill