Python版Beam使用JdbcIO运行时Unknown Coder URN报错如何解决

根因定位 #

WriteToJdbc属于Beam跨语言扩展，底层逻辑由Java侧的JdbcIO实现。ReadFromBigQuery默认输出Python字典结构，默认使用Python专属的pickled_python编码器做序列化，该编码器的URN未被Java运行时支持，因此触发未知URN报错。

修复方案 #

你需要将读取到的字典格式数据转换为Beam跨语言通用的Row类型，使用Java侧可识别的RowCoder做序列化，修改步骤如下：

1. 定义与BigQuery查询结果、Postgres目标表完全匹配的字段Schema
2. 新增转换步骤将字典转为Row类型，显式声明输出类型为定义好的Schema

代码示例 #

import apache_beam as beam
from apache_beam.typehints.schemas import python_to_beam_type
from apache_beam.io.jdbc import WriteToJdbc
from apache_beam import Row

# 按实际字段补充Schema，字段名、类型需要和源端、目标端完全匹配
table_schema = {
    "id": int,
    "content": str,
    "create_time": str
}
beam_schema = python_to_beam_type(table_schema)

output = (
    pipeline
    | 'ReadTable' >> beam.io.ReadFromBigQuery(query='填写实际查询语句', use_standard_sql=True)
    | 'DictToRow' >> beam.Map(lambda item: Row(**item)).with_output_types(beam_schema)
    | 'Write to jdbc' >> WriteToJdbc(
              driver_class_name='org.postgresql.Driver',
              jdbc_url='jdbc:postgresql://localhost:5432/db?currentSchema=public',
              username='填写实际用户名',
              password='填写实际密码',
              table_name='extract'
    )
)

其他注意事项 #

• 字段类型如果有浮点、时间等特殊格式，需要提前做类型对齐，避免后续写入时的类型转换错误
• 使用Dataflow运行器时需要保证本地Beam SDK版本与Dataflow集群运行的Beam版本一致，避免版本差异导致的编码器兼容问题

内容的提问来源于stack exchange，提问作者Ronald Segan