如何通过PySpark将转换后的Spark DataFrame保存至Google BigQuery

当然可行！你目前使用的直接通过Spark BigQuery数据源写入的方式就是最直接、官方推荐的方案之一，完全可以实现将转换后的DataFrame保存回BigQuery的需求。

你的现有写入代码有效性确认 #

你这段写入代码是完全正确的：

df_new \
  .write \
  .mode('overwrite') \
  .format('bigquery') \
  .save('my_project.some_schema.df_new_table')

只要满足以下两个前提，就能成功写入：

• 你的Spark环境已经配置好BigQuery相关依赖（比如添加了对应Spark版本的spark-bigquery-with-dependencies包）；
• 运行Spark作业的身份（比如服务账号、Dataproc集群角色）拥有目标BigQuery项目的数据写入权限（例如bigquery.tables.create和bigquery.tables.updateData权限）。

其他等价的直接写入方式 #

除了用save()方法传入表名，你也可以通过option('table', ...)指定目标表，效果完全一致：

df_new \
  .write \
  .mode('overwrite') \
  .format('bigquery') \
  .option('table', 'my_project.some_schema.df_new_table') \
  .save()

实用配置补充 #

如果需要更灵活的写入控制，可以添加以下参数：

• 自动创建数据集：如果目标数据集some_schema还未存在，可通过createDisposition参数自动创建（默认是CREATE_NEVER，会报错）：

  df_new \
    .write \
    .mode('overwrite') \
    .format('bigquery') \
    .option('table', 'my_project.some_schema.df_new_table') \
    .option('createDisposition', 'CREATE_IF_NEEDED') \
    .save()
  

• 自定义写入行为：除了mode('overwrite')，你还可以用writeDisposition参数细化逻辑：
  • WRITE_TRUNCATE：等价于overwrite，清空现有表后写入新数据；
  • WRITE_APPEND：向现有表追加数据；
  • WRITE_EMPTY：仅当目标表为空时才写入，否则报错。

关于绕开GCS的最优方案 #

你提到的先存CSV到GCS再导入的方式确实是备选，但直接写入BigQuery的方式才是效率最高、步骤最简洁的，不需要额外的中间存储环节，完全符合你的需求。

内容的提问来源于stack exchange，提问作者Totor