如何将Cloud Storage中每个AVRO文件加载为独立BigQuery表

你写的脚本运行失败核心是几个语法和逻辑错误：

• 命令换行未转义：bq mk、bq load的多行参数没有在行尾加反斜杠\，bash会把换行后的内容识别为独立命令，直接触发语法错误。
• 逻辑冗余嵌套：加载数据的循环被写在建表循环内部，每创建一张表就会重复遍历全量表执行加载，既浪费资源也容易触发重复操作报错。实际上BigQuery加载Avro格式文件时会自动读取文件内置的Schema创建表，完全不需要提前手动执行bq mk建表，多余的建表步骤反而可能因为手动定义的Schema和Avro文件不匹配导致后续加载失败。
• 资源路径格式错误：建表时项目和数据集之间用了冒号分隔，加载时又用了点分隔，两种格式混用会直接触发BigQuery资源路径识别错误，正确的表路径格式应为项目ID:数据集名.表名。
• 文件路径匹配错误：加载逻辑里硬拼接的Avro路径是${Bucket}/${Dataset}.${table_name}.avro，和前面正则提取表名的逻辑不匹配，一旦文件名不符合这个拼接规则就会报文件不存在。
• 缺少异常校验：正则提取表名后没有做非空判断，一旦遇到命名不符合规则的Avro文件，就会把空值传入bq命令触发报错。

#!/bin/bash
set -euo pipefail

# 替换为实际配置值
PROJECT_ID="<你的GCP项目ID>"
DATASET="<目标BigQuery数据集名>"
BUCKET="gs://<Avro文件所在存储桶路径>"
# 替换为Avro文件名中表名前的固定前缀，对应你原正则里的STARTOFOBJECTNAME
TABLE_PREFIX="STARTOFOBJECTNAME"

echo "开始批量加载Avro文件到BigQuery..."

# 遍历存储桶根目录下所有.avro后缀文件
for avro_path in $(gsutil ls "${BUCKET}/*.avro")
do
    # 从文件路径中提取符合规则的表名
    table_name=$(echo "${avro_path}" | grep -o -P "(?<=${TABLE_PREFIX}).*(?=\.avro$)")
    # 跳过提取不到合法表名的文件
    if [[ -z "${table_name}" ]]; then
        echo "跳过文件 ${avro_path}：未匹配到符合规则的表名"
        continue
    fi
    echo "正在处理文件：${avro_path}，目标表：${table_name}"
    # 直接执行加载，Avro自带Schema会自动创建不存在的表
    bq load \
        --source_format=AVRO \
        --replace \
        "${PROJECT_ID}:${DATASET}.${table_name}" \
        "${avro_path}"
    echo "表 ${table_name} 加载完成"
done

echo "全部Avro文件处理完成"

• 运行脚本前请确保本地已经正确安装配置gcloud SDK，且当前使用的账号拥有存储桶的读取权限、目标BigQuery数据集的建表和写入权限。
• 如果Avro文件存放在存储桶的多级子目录下，把遍历文件的命令改成gsutil ls -r "${BUCKET}/**/*.avro"即可递归扫描所有子目录下的Avro文件，这时候需要同步调整表名提取的正则规则，避免把子目录路径拼接进表名。
• 脚本中--replace参数表示同名表存在时直接覆盖表内容，如果需要往已有同名表追加数据，把该参数替换为--append即可。
• 表名提取的正则可以根据实际文件名规则灵活调整，比如文件名为user_behavior_202405.avro需要取日期后缀做表名，直接把正则改成grep -o -P '(?<=user_behavior_).*(?=\.avro$)'即可。

内容的提问来源于stack exchange，提问作者ellefc