BigQuery中为通配符（Wildcard）分片表设置自定义过期时间失败的问题咨询

你之前操作的核心误区 #

咱们先拆解下你踩的两个关键坑：

1. 混淆了分区表和通配符分片表的本质
   分区表是单个物理表按时间或字段拆分出多个分区，所有分区共享同一表结构；而你的REF_PRICE_YYYYMMDD是多个独立的物理表，只是命名有统一前缀，属于通配符分片表。你用的--time_partitioning_expiration是专门给分区表设置分区过期时间的参数，对普通独立表完全不适用，这是操作无效的核心原因。

2. 错误使用不完整/通配符表名执行bq update
   从报错Not found: Table project-name:dataset-name.REF_PRICE_来看，你大概率是在命令里用了不完整的表名（比如只写了前缀REF_PRICE_）或者尝试用通配符（比如REF_PRICE_*）。但bq update命令只能针对单个具体表，不支持通配符批量操作，所以BigQuery找不到这个不完整命名的表。

高效批量设置过期时间的方法 #

既然这些是独立表，没法直接一次性批量设置，但我们可以用脚本实现自动化处理，不用手动逐个修改：

方法1：Shell脚本批量处理 #

用bq ls筛选出符合前缀的表，再循环执行bq update（注意普通表用--expiration参数，0表示永不过期）：

# 遍历所有REF_PRICE_前缀的表，设置永不过期
for table in $(bq ls --format=csv project-name:dataset-name | grep "REF_PRICE_" | awk -F ',' '{print $1}'); do
  bq update --expiration 0 project-name:dataset-name.$table
done

• 先通过bq ls列出数据集所有表，用grep筛选出前缀匹配的表，awk提取表名
• 循环里用--expiration 0设置表永不过期，这个参数是专门给普通独立表用的，和分区表的参数完全区分开

方法2：Python客户端库批量处理（更灵活） #

如果你熟悉Python，可以用BigQuery官方客户端库实现，适合后续需要定期维护的场景：

from google.cloud import bigquery

# 初始化客户端
client = bigquery.Client(project="project-name")
dataset = client.get_dataset("dataset-name")

# 遍历数据集中所有表
for table in client.list_tables(dataset):
    # 匹配前缀
    if table.table_id.startswith("REF_PRICE_"):
        table_obj = client.get_table(table)
        # 设置为永不过期（None表示无过期时间）
        table_obj.expires = None
        # 更新表属性
        client.update_table(table_obj, ["expires"])
        print(f"已更新表 {table.table_id} 的过期时间为永不过期")

后续维护建议 #

1. 你设置的数据集默认过期时间为7天是有效的——新创建的非REF_PRICE_前缀的表会自动继承7天过期规则
2. 对于未来新创建的REF_PRICE_前缀表，建议在创建时显式指定expires=None；如果是自动生成的表，可以定期跑上面的脚本，或者用Cloud Scheduler定时触发脚本更新

内容的提问来源于stack exchange，提问作者Imad