使用Pubsub导出到BigQuery功能经Dataflow传JSON时遇RuntimeException

这个报错指向很明确：BigQuery的目标表中没有_comments字段，但Dataflow管道正在尝试往这个字段写入数据，导致插入失败。咱们从几个关键方向排查：

• 检查BigQuery目标表结构
  直接登录BigQuery控制台，查看目标表的schema，确认是否存在_comments字段。有可能是之前表结构被修改（比如手动删除了这个字段），但Dataflow作业的配置还没同步更新。

• 验证Pub/Sub消息的JSON结构
  查看当前Pub/Sub中待处理的消息内容，确认是否包含_comments字段。如果是近期消息新增了这个字段，而BigQuery表没有对应的字段，就会触发这个错误。可以用Pub/Sub的订阅消息预览功能快速查看消息结构。

• 核对Dataflow作业的Schema配置
  如果是使用“导出到BigQuery”的自动配置：

  • 早期作业可能是根据第一条消息的结构自动创建的表，后续消息结构变化后，作业不会自动更新表schema。这种情况需要手动修改表结构，或者重新配置作业。
    如果是手动指定了schema：
  • 检查作业配置中的schema是否包含_comments字段，和BigQuery表的schema是否完全匹配（注意字段名大小写、类型）。

• 修复字段不匹配问题

  • 如果_comments字段是多余的：可以在Dataflow管道中添加一个转换步骤，过滤掉消息中的_comments字段，确保写入的数据和表结构一致。
  • 如果确实需要这个字段：直接在BigQuery中修改表结构，添加_comments字段（注意字段类型要和消息中的数据类型匹配，比如STRING、INTEGER等）。

• 重启Dataflow作业
  不管是修改了表结构还是调整了消息处理逻辑，都建议重启Dataflow作业，让作业重新加载最新的表schema和配置，避免缓存的旧配置导致持续报错。

内容的提问来源于stack exchange，提问作者Nicky Feller