Jupyter Notebook导出GCP BigQuery全量结果至CSV遇语法错误求助

错误原因 #

你把Jupyter的%%bigquery cell魔法命令错误嵌套在了Python赋值语句里，这违反了语法规则——%%bigquery作为cell级魔法命令，必须作为cell的首行使用，不能放在变量赋值的大括号中。

正确实现方法 #

方法一：直接用%%bigquery魔法命令生成DataFrame（最简单） #

把魔法命令放在cell开头，指定要存储结果的DataFrame变量名，接着写查询语句：

import pandas as pd

%%bigquery df
SELECT
*
FROM `wig-eu-aig-prod`.AGGR_CRN_aig.crn_aig_wig_mon_1month_aggr

执行完这个cell后，查询结果会自动存入df，之后直接保存为CSV即可：

# 保存全量结果到CSV，index=False避免写入行索引
df.to_csv('bigquery_result.csv', index=False)

方法二：使用BigQuery Python客户端API（更灵活） #

如果需要更多自定义逻辑，用官方客户端库实现：

1. 先确保安装依赖（如果没装的话）：

!pip install google-cloud-bigquery pandas

2. 执行查询并转存：

import pandas as pd
from google.cloud import bigquery

# 初始化BigQuery客户端（默认读取本地认证信息，或通过GCP配置自动认证）
client = bigquery.Client()

# 定义查询语句
query = """
SELECT
*
FROM `wig-eu-aig-prod`.AGGR_CRN_aig.crn_aig_wig_mon_1month_aggr
"""

# 执行查询并转换为DataFrame，自动获取全量结果
df = client.query(query).to_dataframe()

# 保存为CSV
df.to_csv('bigquery_result.csv', index=False)

内容的提问来源于stack exchange，提问作者Entropy