如何按partition_ID分区元数据删除BigQuery表中的错误记录？

不能直接通过partition_ID这类内部分区元数据删除BigQuery表中的记录，原因是你的表采用**字段分区（按Sales_Date）**而非 ingestion time分区，partition_ID是BigQuery内部维护的标识，无法作为DELETE语句的过滤条件。

以下是针对你的场景的可行解决方案：

方案1：利用源文件元数据精准删除（推荐） #

如果你的表在加载数据时保留了源文件信息（默认情况下，BigQuery会记录_FILE_NAME伪列），可以直接通过该伪列定位错误文件的所有记录并删除：

-- 先确认错误文件的路径
SELECT DISTINCT _FILE_NAME
FROM myproject_dataset.sales_table
WHERE Sales_Date IN ('2022-10-19', '其他包含错误数据的日期');

-- 删除该文件的所有记录
DELETE FROM myproject_dataset.sales_table
WHERE _FILE_NAME = 'gs://你的存储桶路径/错误文件名.csv';

方案2：通过数据特征过滤删除 #

如果没有保留源文件信息，可通过错误数据的其他特征（比如特定字段的异常值、记录的唯一标识等）结合日期范围来删除：

DELETE FROM myproject_dataset.sales_table
WHERE (Sales_Date = '2022-10-19' OR Sales_Date = '其他错误日期')
  AND 错误数据特征; -- 例如：Amount < 0 或 Order_ID LIKE 'ERR_%'

方案3：重建分区并重新加载正确数据 #

如果错误数据覆盖范围广且难以精准过滤，可采用备份-删除-重加载的流程：

1. 备份该表中的所有正确数据：

   CREATE OR REPLACE TABLE myproject_dataset.sales_backup
   AS SELECT * FROM myproject_dataset.sales_table
   WHERE NOT (Sales_Date IN ('2022-10-19', '其他错误日期') AND 错误数据特征);
   

2. 删除包含错误数据的分区：

   ALTER TABLE myproject_dataset.sales_table
   DROP PARTITION IF EXISTS DATE('2022-10-19'),
   DROP PARTITION IF EXISTS DATE('其他错误日期');
   

3. 将备份的正确数据重新插入原表：

   INSERT INTO myproject_dataset.sales_table
   SELECT * FROM myproject_dataset.sales_backup;
   

内容的提问来源于stack exchange，提问作者sa657