Apache Beam Go SDK Dataflow流水线无法消费PubSub消息问题

核心诱因1：Pub/Sub资源传参格式不符合要求 #

你在部署命令中传入的--topic my-topic-name、--inputSubscription my-sub-name为资源短名称，Apache Beam Go SDK的pubsubio组件不会自动拼接项目ID补全资源路径，必须传入GCP规范的完整资源路径才能正常访问：

• Topic正确格式：projects/[项目ID]/topics/[Topic名称]
• 订阅正确格式：projects/[项目ID]/subscriptions/[订阅名称]

对应你的环境，参数需要修改为：

--topic projects/mb-gcp-project/topics/my-topic-name
--inputSubscription projects/mb-gcp-project/subscriptions/my-sub-name

你之前传入不存在的订阅名会抛错，是因为触发了SDK最基础的名称合法性校验，但合法短名称会被客户端解析为空项目下的资源，实际无权限访问，相关连接错误仅会输出DEBUG级别日志，不会出现在常规报错日志中，表现为无报错、无消息消费。日志中显示的自动扩缩容提升Worker数量属于控制面指标误判，实际数据面根本没有成功连接Pub/Sub拉取消息。

核心诱因2：--update参数误用 #

你的部署命令携带了--update参数，该参数仅用于更新已存在的同名运行中作业，不会重新生成完整的作业执行图。如果你之前用同名my-mapper提交过配置错误的作业，后续加--update提交时会复用旧作业的Pub/Sub读取配置，新传入的参数不会生效，导致作业一直卡在旧的错误逻辑里。
修复方式：首次部署新作业时移除--update参数，测试阶段每次部署使用唯一的作业名（比如加时间戳后缀），避免复用旧作业配置。

其他排查项 #

• 不要使用apache/beam_go_sdk:latest镜像，latest标签对应未正式发布的开发版本，存在多个已知的Pub/Sub读取Bug，需要替换为和你本地使用的Beam Go SDK版本完全一致的正式发布版镜像，例如本地SDK版本为2.40.0时，镜像参数改为--worker_harness_container_image=apache/beam_go_sdk:2.40.0。
• 检查你使用的自定义子网是否开启了Private Google Access，如果Worker没有配置公网IP、子网又未开启Private Google Access，Worker将无法连通Pub/Sub服务接口，也会出现无报错无消费的现象。
• 你贴出的业务代码逻辑没有问题，pubsubio.Read的用法符合官方规范，不需要额外添加其他配置项。修复上述参数问题后，可以先用官方streaming_wordcap示例做验证，确认官方示例能正常消费后再部署业务代码即可。

内容的提问来源于stack exchange，提问作者Michał Suchwałko