关于Google Dataflow流式掩码/标记化模板输出结果不一致的咨询

• 数据格式不规范导致解析丢弃
  你的GCS文件里大概率存在格式不符合要求的记录，比如JSON格式不闭合、CSV字段分隔符混乱、换行符异常（比如一条记录跨了多行却没正确转义）。Dataflow流式模板在解析这类数据时，默认会直接跳过无效记录，不会抛出明显错误，自然就导致写入BigQuery的行数比源文件少。

• DLP处理环节的过滤或失败
  DLP在做掩码/标记化时，如果遇到无法识别的字段类型、特殊字符，或者触发了自定义的过滤规则，会直接丢弃这些记录。另外，如果DLP API调用遇到限流、超时，而模板默认的重试次数不够，部分失败的记录也会被丢弃，不会重试写入。

• BigQuery的重复数据处理规则
  如果你的BigQuery表开启了重复数据去重（比如建表时设置了唯一键，或者写入用了ignoreDuplicates参数），当源文件里有重复记录，或者之前已经写入过相同内容，BigQuery会自动忽略这些重复行，最终统计的行数就会比源文件少。

• Dataflow流式窗口的迟到数据丢弃
  虽然是处理GCS文件，但流式模板依赖窗口和水印机制。如果你的记录没有明确的时间戳字段，Dataflow会用文件的创建时间作为事件时间，如果文件的创建时间跨度超过了模板默认的水印容忍时间，部分"迟到"的记录会被直接丢弃，不会进入后续处理环节。

• 模板未配置死信队列，错误记录无迹可寻
  官方的Dataflow流式模板默认可能不会将处理失败的记录输出到死信队列（比如另一个GCS桶或BigQuery表）。这些被丢弃的错误记录没有被统计，你就只能看到成功写入的行数，自然和源文件总数对不上。

内容的提问来源于stack exchange，提问作者Raj