关于Beam 2.45与2.49版本中FailedInserts PCollection行为的确认请求
关于Beam 2.45.0与2.49.0版本中BigQueryIO FailedInserts PCollection的疑问
针对BigQueryIO的FailedInserts PCollection特性及版本差异,我有以下疑问与确认请求:
当FailedInserts PCollection未被消费时,BigQueryIO会静默丢弃记录,这虽可能是预期行为,但我认为应通过计数器向用户暴露该情况。
根据观察,FailedInserts PCollection用于处理Schema不匹配问题:当记录与指定Schema不匹配导致转换方法抛出异常时,该记录会被输出到FailedInserts中。在Beam 2.45.0版本中,FailedInserts PCollection会被直接Flatten后丢弃;在Beam 2.49.0版本中,这些记录仍会被Flatten后丢弃,但Beam会更新计数器以显示转换失败的次数。
现请求确认以下内容:
- 在Beam 2.45.0和2.49.0版本中,
FailedInserts PCollection是否仅收集Schema不匹配的记录; - 当
FailedInserts PCollection非空时,两个版本是否都会丢弃这些记录,唯一差异是Beam 2.49.0会更新转换失败次数的计数器,而2.45.0无此计数器; - Beam 2.45.0与2.49.0版本中,
FailedInserts PCollection的结果是否都会被丢弃。
内容的提问来源于stack exchange,提问作者Jdub
相关产品推荐
相关产品推荐

