BigQuery按时间戳日分区表插入数据丢失问题求助

以下是针对你遇到的问题的具体排查步骤和解决方法：

1. 确认分区表的创建逻辑是否正确 #

首先检查建表语句中分区列的定义，必须确保是基于TIMESTAMP列的DATE转换来分区：

CREATE TABLE `your-project.your-dataset.your-table` (
  id INT64,
  event_ts TIMESTAMP
)
PARTITION BY DATE(event_ts);

• 避免直接用TIMESTAMP列分区（虽然BigQuery支持，但DATE转换是按日分区的标准写法）；
• 不要误用DATETIME(event_ts)或其他函数，否则会导致分区计算偏差。

2. 验证插入数据的时间戳合法性与正确性 #

插入时必须确保时间戳是BigQuery支持的有效格式，建议显式指定UTC时区：

INSERT INTO `your-project.your-dataset.your-table` (id, event_ts)
VALUES 
  (1, TIMESTAMP('1960-01-01 00:00:00 UTC')),
  (2, TIMESTAMP('2023-03-05 12:34:56 UTC'));

插入后先查询原始数据，确认时间戳和转换后的分区日期是否正常：

SELECT 
  id, 
  event_ts, 
  DATE(event_ts) AS partition_date
FROM `your-project.your-dataset.your-table`;

如果partition_date为NULL，数据会进入__NULL__分区；如果是合法日期但UI没显示，大概率是UI刷新延迟。

3. 用SQL查询直接验证数据存在性 #

不要依赖UI的分区列表（可能存在刷新延迟），直接用分区条件查询：

-- 查询指定分区的数据
SELECT * 
FROM `your-project.your-dataset.your-table`
WHERE DATE(event_ts) = '1960-01-01';

-- 查询总数据量确认是否插入成功
SELECT COUNT(*) AS total_rows 
FROM `your-project.your-dataset.your-table`;

4. 检查是否设置了分区范围限制 #

如果建表时指定了partition_range_start和partition_range_end，超出范围的日期会进入__UNPARTITIONED__分区。检查建表语句是否包含类似配置：

OPTIONS (
  partition_range_start = '2020-01-01',
  partition_range_end = '2024-01-01'
)

如果有这类限制，要么调整范围，要么修改插入的时间戳到范围内。

5. 确认插入Job是否成功 #

进入BigQuery的Job历史，找到对应的插入Job，查看状态是否为SUCCESS，并检查Job详情中的写入行数是否符合预期。如果Job失败，根据报错信息调整插入语句。

内容的提问来源于stack exchange，提问作者mattia1p