Kubernetes中Pod无法建立gRPC连接，求非特权权限下的解决办法

问题描述 #

我的Kubernetes集群中，Pod无法与其他Pod建立gRPC连接；将Pod权限提升为特权模式后可正常连接，但生产环境不能使用特权Pod。我已为Pod添加了NET_BIND_SERVICE权限，但仅能部分生效，请问还需添加哪些权限？另外我查看了容器内的netstat信息：正常情况下存在已建立的gRPC TCP连接，异常情况下连接卡在SYN_SENT状态或无法完成握手。

可能需要补充的权限及分析 #

1. NET_RAW 能力 #

gRPC基于TCP协议，TCP连接的建立和维护常依赖**路径MTU发现（Path MTU Discovery）**机制，该机制需要发送、接收ICMP包。非特权Pod默认没有NET_RAW能力，无法处理ICMP包会导致路径MTU发现失败，进而使TCP连接无法完成三次握手或出现超时，这是gRPC在非特权Pod中连接失败的常见原因。

2. NET_ADMIN 能力（谨慎使用） #

如果你的gRPC服务需要修改TCP内核参数（如tcp_keepalive相关配置、tcp_tw_reuse等），或需要操作网络命名空间内的配置（如调整路由、防火墙规则），则需要添加NET_ADMIN能力。但该权限范围较大，生产环境中建议仅在确认必要时添加，同时配合最小权限原则限制Pod的其他权限。

3. 其他非能力类限制排查 #

除了Linux能力，还要检查以下配置：

• Seccomp Profile：集群默认的Seccomp profile可能限制了某些网络相关的系统调用（如socket、setsockopt），需要调整profile允许gRPC所需的系统调用。
• AppArmor Profile：如果启用了AppArmor，需确保对应的profile允许容器进行网络连接、套接字操作等行为。
• 网络策略：虽然特权模式下正常，但仍需确认是否有网络策略限制了Pod间的gRPC端口通信（不过该情况通常不会因特权模式而绕过）。

验证步骤 #

1. 先为Pod添加NET_RAW能力，修改Pod的securityContext配置：

securityContext:
  capabilities:
    add: ["NET_BIND_SERVICE", "NET_RAW"]

2. 部署后测试gRPC连接是否恢复正常。
3. 如果仍有问题，再尝试临时添加NET_ADMIN能力进行验证，确认是否是该权限缺失导致。
4. 若权限调整无效，检查Seccomp和AppArmor的配置是否存在限制。

内容的提问来源于stack exchange，提问作者Qingxiao Lin