Beam Python(FlinkRunner)无法连接Java Expansion Service(gRPC)问题

我在K8S的flink命名空间下运行基于FlinkRunner（PortableRunner）的Beam Python应用，代码中使用apache_beam.io.external.gcp.pubsub.ReadFromPubSub对接GCP PubSub，配置expansion_service为beam-expansion-service.flink:8097。

同时已部署Java Expansion Service的Deployment与Headless Service，相关配置如下：

Dockerfile配置 #

FROM --platform=linux/amd64 openjdk:11
WORKDIR /app
RUN curl -o beam-sdks-java-io-google-cloud-platform-expansion-service.jar https://repo1.maven.org/maven2/org/apache/beam/beam-sdks-java-io-google-cloud-platform-expansion-service/2.61.0/beam-sdks-java-io-google-cloud-platform-expansion-service-2.61.0.jar

Deployment与Service配置 #

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: beam-expansion-service
spec:
  replicas: 1
  selector:
    matchLabels:
      app: beam-expansion-service
  template:
    metadata:
      labels:
        app: beam-expansion-service
    spec:
      containers:
      - name: expansion-service
        image: beam-expansion-service:1
        command: ["java", "-jar", "/app/beam-sdks-java-io-google-cloud-platform-expansion-service.jar", "8097", "--javaClassLookupAllowlistFile=*"]
        ports:
        - containerPort: 8097
---
apiVersion: v1
kind: Service
metadata:
  name: beam-expansion-service
spec:
  clusterIP: None
  selector:
    app: beam-expansion-service
  ports:
    - protocol: TCP
      port: 8097
      targetPort: 8097
---

通过nc -v 10.232.23.14 8097或nc -v beam-expansion-service.flink 8097可确认地址连通，但应用出现如下gRPC错误：

grpc._channel._InactiveRpcError: <_InactiveRpcError of RPC that terminated with:
        status = StatusCode.UNAVAILABLE
        details = "failed to connect to all addresses; last error: UNKNOWN: ipv4:10.232.23.14:8097: Endpoint is neither UDS or TCP loopback address."
        debug_error_string = "UNKNOWN:Error received from peer  {created_time:"2025-03-17T16:02:35.189471737+00:00", grpc_status:14, grpc_message:"failed to connect to all addresses; last error: UNKNOWN: ipv4:10.232.23.14:8097: Endpoint is neither UDS or TCP loopback address."}"

请问为何Beam应用无法连接Java Expansion Service（gRPC服务端）？

这个错误的核心原因是Beam Python SDK的gRPC客户端默认限制只能连接UDS（Unix域套接字）或TCP回环地址（127.0.0.1/localhost），非回环的集群内部IP会被拦截，即使网络连通也无法建立gRPC连接。

解决方法如下：

• 方法1：添加gRPC环境变量绕过限制
  在运行Beam Python应用的Pod中设置环境变量GRPC_ENABLE_FORK_SUPPORT=false，该变量会解除gRPC客户端的地址限制，允许连接非回环的远程地址。

• 方法2：显式指定Expansion Service绑定到0.0.0.0
  修改Expansion Service的启动命令，显式添加--host 0.0.0.0参数，确保服务监听所有网络接口：

  ["java", "-jar", "/app/beam-sdks-java-io-google-cloud-platform-expansion-service.jar", "--host", "0.0.0.0", "8097", "--javaClassLookupAllowlistFile=*"]
  

• 方法3：直接使用Expansion Service Pod的IP
  如果前两种方法无效，可尝试直接将expansion_service配置为Expansion Service Pod的IP和端口，同时确保两个Pod在同一命名空间且网络策略允许通信。

其中方法1是最直接有效的，因为限制来自Beam Python SDK的gRPC客户端配置，而非Expansion Service本身的绑定问题（已通过nc确认网络连通）。

内容的提问来源于stack exchange，提问作者Dogil