如何用Python将含字符串数组列的DataFrame上传至BigQuery？

你之前的Schema错误地使用了RECORD类型——你的列是单纯的字符串数组，不需要嵌套结构化的RECORD字段，直接将字段类型设为STRING并开启REPEATED模式即可。

正确的Schema定义 #

bq_schema = [
    bigquery.SchemaField("reply_users", "STRING", mode="REPEATED"),
]

上传时的关键注意事项 #

• 确保DataFrame中reply_users列的每个元素都是原生Python列表（如['USER1', 'USER2', 'USER3']），而非字符串格式的数组（如"['USER1','USER2']"）。如果是后者，需要先通过ast.literal_eval()等工具解析为列表：

  import ast
  df['reply_users'] = df['reply_users'].apply(ast.literal_eval)
  

• 若使用pandas.to_gbq上传，需显式指定schema参数，同时可根据需求设置if_exists：

  df.to_gbq(
      destination_table="project.dataset.table",
      project_id="your-project-id",
      schema=bq_schema,
      if_exists="replace"
  )
  

• 若使用google-cloud-bigquery客户端的load_table_from_dataframe方法，需在LoadJobConfig中传入指定的Schema，避免自动推断覆盖你的设置：

  from google.cloud import bigquery
  
  client = bigquery.Client(project="your-project-id")
  table_id = "project.dataset.table"
  
  job_config = bigquery.LoadJobConfig(
      schema=bq_schema,
      write_disposition=bigquery.WriteDisposition.WRITE_TRUNCATE
  )
  
  load_job = client.load_table_from_dataframe(df, table_id, job_config=job_config)
  load_job.result()  # 等待上传完成
  

排查要点 #

• 检查DataFrame列的类型：reply_users列应为object类型，且每个元素都是列表对象。
• 上传后查看BigQuery表的Schema，确认是否被自动推断覆盖——如果自动推断错误，强制指定Schema是必须的。

内容的提问来源于stack exchange，提问作者aeb