如何批量上传CSV至BigQuery并自动命名以简化日报流程？

完全可行，以下是两种实操方案，可根据你的技术习惯选择：

方案一：使用BigQuery命令行工具（bq）批量处理 #

适合熟悉shell脚本的场景，操作简单直接：

1. 确保所有CSV文件名符合BigQuery表名规则（仅含小写字母、数字、下划线，以字母/下划线开头），避免后续创建表失败
2. 在CSV文件所在目录创建shell脚本（比如batch_upload.sh），内容如下：

# 替换为你的项目数据集名称，格式：项目ID.数据集ID
TARGET_DATASET="your_project_id.your_dataset"

# 遍历当前目录下所有CSV文件
for csv_file in *.csv; do
    # 提取文件名（去掉.csv后缀）作为表名
    table_name=$(basename "$csv_file" .csv)
    # 上传并创建同名表，自动检测Schema
    bq load --source_format=CSV \
            --autodetect \
            --skip_leading_rows=1 \  # 如果CSV包含表头，保留此参数；无表头则改为0
            "$TARGET_DATASET.$table_name" \
            "$csv_file"
done

3. 执行脚本：chmod +x batch_upload.sh && ./batch_upload.sh

方案二：使用Python脚本批量处理 #

适合需要更灵活逻辑（比如自动执行查询、后续自动删表）的场景：

from google.cloud import bigquery
import os

# 初始化BigQuery客户端
client = bigquery.Client()
# 替换为你的项目数据集ID
dataset_id = "your_project_id.your_dataset"
# CSV文件所在目录路径
csv_directory = "./your_csv_files_dir"

# 批量上传CSV并创建同名表
for filename in os.listdir(csv_directory):
    if not filename.endswith(".csv"):
        continue
    # 生成表ID：数据集ID + 文件名（去掉.csv后缀）
    table_id = f"{dataset_id}.{filename[:-4]}"
    # 配置上传参数
    job_config = bigquery.LoadJobConfig(
        source_format=bigquery.SourceFormat.CSV,
        autodetect=True,  # 自动检测Schema
        skip_leading_rows=1,  # 适配带表头的CSV，无表头则设为0
        write_disposition=bigquery.WriteDisposition.WRITE_TRUNCATE  # 每日覆盖同名表，避免重复数据
    )
    # 读取并上传文件
    with open(os.path.join(csv_directory, filename), "rb") as source_file:
        load_job = client.load_table_from_file(source_file, table_id, job_config=job_config)
    # 等待上传完成
    load_job.result()
    print(f"已创建表：{table_id}")

# 上传完成后执行报表查询
report_query = """
-- 替换为你的报表查询逻辑，比如多表关联
SELECT * 
FROM `your_project_id.your_dataset.table1`
JOIN `your_project_id.your_dataset.table2` 
ON table1.id = table2.id
-- 其他表关联及筛选逻辑
"""
# 执行查询
query_job = client.query(report_query)
query_job.result()

# 可选：自动删除表（符合安全政策要求）
for filename in os.listdir(csv_directory):
    if filename.endswith(".csv"):
        table_id = f"{dataset_id}.{filename[:-4]}"
        client.delete_table(table_id, not_found_ok=True)
        print(f"已删除表：{table_id}")

关键注意事项 #

• 表名必须符合BigQuery规则，避免特殊字符、大写字母（虽然BigQuery大小写不敏感，但统一小写可减少问题）
• 若CSV有固定Schema，可去掉--autodetect（bq命令）或autodetect=True（Python），手动指定Schema以提高准确性
• 确保执行脚本的账号拥有BigQuery数据集的编辑权限，以及本地文件读取权限
• 自动删表逻辑可根据需求调整执行时机（比如查询完成后、次日执行）

内容的提问来源于stack exchange，提问作者literarymanchester