如何在Scala Spark中截断BQ表并保留字段描述与架构属性

方法1：使用BigQuery原生TRUNCATE TABLE语句 #

BigQuery的TRUNCATE TABLE语句是最直接的解决方案——它会清空表内所有数据，但完整保留表的架构、字段描述及其他属性，完全匹配你的需求。

你可以通过两种方式执行该语句：

方式A：通过BigQuery客户端执行DDL

修改你之前的BQ客户端代码，用TRUNCATE语句替代删除操作：

import com.google.cloud.spark.bigquery.repackaged.com.google.cloud.bigquery.{BigQueryOptions, QueryJobConfiguration}

val bq = BigQueryOptions.getDefaultInstance().getService()
val projectId = "your-project-id"
val datasetId = "your-dataset"
val tableId = "your-table"

// 构造TRUNCATE语句
val truncateSql = s"TRUNCATE TABLE `$projectId.$datasetId.$tableId`"
val queryConfig = QueryJobConfiguration.newBuilder(truncateSql).build()

// 执行DDL操作
bq.query(queryConfig)

方式B：通过Spark SQL直接执行

如果你的Spark环境已配置好BigQuery数据源（依赖spark-bigquery-connector），可以直接用Spark SQL执行截断：

// 执行TRUNCATE语句
spark.sql(s"TRUNCATE TABLE `your-project-id.your-dataset.your-table`")

为什么你之前的方案无效？ #

• WRITE_TRUNCATE和mode("overwrite")：这两种方式本质是删除原表后重建新表，重建过程不会继承原表的字段描述等元数据，导致信息丢失。
• table.delete()：此操作是直接删除整个表，而非仅清空数据，不符合截断需求。

额外注意事项 #

• 执行TRUNCATE需要bigquery.tables.update和bigquery.jobs.create权限。
• TRUNCATE操作不可恢复，执行前请确认数据已备份或无需保留。

内容的提问来源于stack exchange，提问作者Khilesh Chauhan