如何无需读取文件内容到字符串，自动在BigQuery执行单文件DDL语句？

方案1：用gcloud CLI结合Python subprocess执行 #

直接借助BigQuery官方命令行工具bq读取本地DDL文件并执行，Python仅负责批量调度，完全不需要处理文件内容的字符串转换：

import subprocess
import os

# 替换为你的DDL文件目录
ddl_directory = "/path/to/ddl-files"

for file_name in os.listdir(ddl_directory):
    if file_name.endswith(".sql"):
        full_path = os.path.join(ddl_directory, file_name)
        # 调用bq命令执行文件中的DDL语句
        exec_result = subprocess.run(
            ["bq", "query", "--use_legacy_sql=false", f"<{full_path}"],
            capture_output=True,
            text=True
        )
        if exec_result.returncode == 0:
            print(f"✅ {file_name} 执行成功")
        else:
            print(f"❌ {file_name} 执行失败: {exec_result.stderr}")

这个方案适合大体积DDL文件场景，避免将完整DDL加载到Python内存中，同时利用bq工具的原生语法校验能力。

方案2：Python Client流式执行（无显式字符串变量存储） #

如果偏好使用BigQuery Python SDK，可通过文件流直接读取执行，无需将DDL内容赋值给独立字符串变量：

from google.cloud import bigquery

client = bigquery.Client()
ddl_directory = "/path/to/ddl-files"

for file_name in os.listdir(ddl_directory):
    if file_name.endswith(".sql"):
        full_path = os.path.join(ddl_directory, file_name)
        with open(full_path, "r") as ddl_file:
            # 直接读取并提交执行，不存储完整DDL字符串
            query_job = client.query(ddl_file.read())
            query_job.result()  # 阻塞等待执行完成
            print(f"✅ {file_name} 对应的表已创建")

此方式保持了Python SDK的易用性，同时避免了显式的字符串变量存储，代码更简洁。

方案3：批量DDL合并执行（减少API调用） #

若需批量处理所有DDL文件，可将所有语句合并为单个脚本执行（仍需读取内容，但仅一次API调用）：

from google.cloud import bigquery

client = bigquery.Client()
ddl_directory = "/path/to/ddl-files"
ddl_statements = []

for file_name in os.listdir(ddl_directory):
    if file_name.endswith(".sql"):
        full_path = os.path.join(ddl_directory, file_name)
        with open(full_path, "r") as ddl_file:
            ddl_statements.append(ddl_file.read().strip())

# 合并所有DDL语句，用分号分隔
combined_script = "; ".join(ddl_statements)
query_job = client.query(combined_script)
query_job.result()
print("✅ 所有DDL脚本执行完成")

注意：需确保每个DDL语句结尾无多余分号，避免合并后出现语法错误。

内容的提问来源于stack exchange，提问作者Nitesh Jain