如何从DataFrame提取表名，动态拼接BigQuery查询的FROM子句

前置说明 #

你提供的样例数据字典存在两个语法问题：重复的table_catalog键（第二个应为table_schema）、键值对之间缺逗号，实际使用时如果是直接从BigQuery执行元数据查询得到的DataFrame可忽略手动构造数据的步骤。

完整实现代码 #

import pandas as pd
from google.cloud import bigquery

# 初始化BigQuery客户端（Jupyter环境已配置权限的话可直接初始化）
client = bigquery.Client()

# --------------------------
# 步骤1：获取表名元数据（二选一即可）
# --------------------------
# 方式1：直接执行INFORMATION_SCHEMA查询获取元数据（实际使用推荐）
meta_query ="""
SELECT 
    table_catalog, 
    table_schema, 
    table_name, 
FROM `Project-A.schema_A`.INFORMATION_SCHEMA.COLUMN_FIELD_PATHS
"""
df = client.query(meta_query).to_dataframe()

# 方式2：手动构造样例DataFrame（测试用）
# data = {
#     'table_catalog':['project-A', 'project-A', 'project-A', 'project-A','Project-A','Project-A','Project-A'],
#     'table_schema':['schema_A', 'schema_A', 'schema_A', 'schema_A','schema_A','schema_A','schema_A'],
#     'table_name':['Table_A', 'Table_B', 'Table_B', 'Table_C','Table_C','Table_A','Table_A']
# }
# df = pd.DataFrame(data)

# --------------------------
# 步骤2：动态生成查询
# --------------------------
# 取去重后的表名列表
list_of_tables = df['table_name'].unique().tolist()

# 场景1：逐个表查询，分别处理结果
for table_name in list_of_tables:
    # 表全路径加反引号避免特殊字符（如项目名中的横杠）报错
    query = f"""
    SELECT *
    FROM `Project-A.Schema_A.{table_name}`
    """
    # 执行查询得到当前表的结果DataFrame
    current_table_df = client.query(query).to_dataframe()
    # 此处可添加自定义处理逻辑，比如打印、存储结果等
    print(f"表{table_name}查询完成，数据行数：{len(current_table_df)}")

# 场景2：合并查询所有表的结果
# query_parts = [f"SELECT * FROM `Project-A.Schema_A.{table}`" for table in list_of_tables]
# union_all_query = " UNION ALL ".join(query_parts)
# all_table_df = client.query(union_all_query).to_dataframe()

内容的提问来源于stack exchange，提问作者Shan