BigQuery使用Dataframe做JOIN查询报400语法错误如何解决

核心错误是你直接把本地内存里的Pandas DataFrame对象通过f-string插值拼进了发给BigQuery执行的SQL语句里。
BigQuery的SQL是在谷歌远端服务器执行的，根本访问不到你本地Python进程里的DataFrame数据。当你在f-string中写{merged_contacts}时，Python会自动调用DataFrame的字符串转换方法，把DataFrame的打印预览文本直接插入SQL，这段文本不是BigQuery可识别的合法表名/表标识，且刚好包含TIME关键字，BigQuery解析到JOIN子句后本来期望拿到合法的表定义，结果读到了TIME关键字，就抛出了你看到的语法错误，报错位置[3:77]和你拼接后SQL里TIME关键字的位置完全吻合。

根据你的数据量二选一即可：

• 小数据量场景：本地完成JOIN
  不用在BigQuery侧做关联，先把BigQuery里的contact表读到本地成DataFrame，再用Pandas原生的merge方法做关联，逻辑和SQL JOIN完全一致，代码更简单：

  # 读取BigQuery中的contact表到本地
  contact_df = pandas_gbq.read_gbq("SELECT * FROM contact", project_id=project_id)
  # 本地按id字段做内连接
  merged = contact_df.merge(merged_contacts, on="id", how="inner")
  merged.head()
  

• 大数据量场景：先上传临时表再做JOIN
  如果数据量太大本地内存放不下，就先把本地的merged_contacts DataFrame上传到BigQuery成为临时表，再写SQL关联正式表和临时表：

  # 定义临时表名，替换为你自己项目下的临时数据集路径即可
  temp_table = "your_dataset.tmp_merged_contacts"
  # 把本地DataFrame上传到BigQuery
  merged_contacts.to_gbq(temp_table, project_id=project_id, if_exists="replace")
  # 编写关联正式表和临时表的SQL，表名用反引号包裹避免关键字冲突
  query = f"""
      SELECT *
      FROM contact c
      JOIN `{temp_table}` m
      ON c.id = m.id
  """
  merged = pandas_gbq.read_gbq(query, project_id=project_id)
  merged.head()
  

提示：写BigQuery的带路径表名时，统一用反引号`包裹，可以避免表名和SQL关键字冲突触发的语法报错。

内容的提问来源于stack exchange，提问作者Sarim Sikander