在Kubernetes中通过NFS共享gcsfuse挂载的GCS存储卷问题求助

一、先修复当前NFS+GCSFUSE方案的问题 #

你的配置存在几个关键问题，先针对性修复：

1. 调整启动脚本执行顺序 #

当前脚本先执行exportfs -a再挂载GCS桶，导致导出的是空目录，修正_start_nfs函数：

_start_nfs() {
  # 先挂载GCS桶到/exports
  GOOGLE_APPLICATION_CREDENTIALS=/accounts/key.json gcsfuse -o allow_other --dir-mode 777 --uid 1500 --gid 1500 ${BUCKET} /exports
  # 再导出NFS目录
  exportfs -a   
  rpcbind
  rpc.statd
  rpc.nfsd
  rpc.mountd
}

2. 修正NFS导出目录配置 #

Dockerfile里NFS_SERVER_DIRS设为/usr是错误的，应该指向GCS挂载目录/exports：

ENV RPCNFSDCOUNT=8 \
  NFS_SERVER_DIRS='/exports'

3. 固定NFS服务端口（解决K8s端口暴露问题） #

动态端口在K8s集群内无法被稳定访问，修改_sysconfig_nfs函数固定端口：

_sysconfig_nfs() {
  cat > /etc/sysconfig/nfs <<EOF
# 保留原有其他配置，修改以下两项
# Port rpc.mountd should listen on.
MOUNTD_PORT=20048
# Port rpc.statd should listen on.
STATD_PORT=662
# Outgoing port statd should used.
STATD_OUTGOING_PORT=2020
# 其他原有配置不变
EOF
}

同时在Dockerfile里补充暴露端口：

EXPOSE 2049/tcp 20048/tcp 111/tcp 111/udp 662/tcp 662/udp

4. 确保fuse允许allow_other参数 #

在Dockerfile添加配置：

RUN echo "user_allow_other" >> /etc/fuse.conf

5. K8s侧配置检查 #

• NFS Server的Service需映射所有必要端口：

apiVersion: v1
kind: Service
metadata:
  name: nfs-gcs-service
spec:
  ports:
    - name: nfs
      port: 2049
      targetPort: 2049
    - name: mountd
      port: 20048
      targetPort: 20048
    - name: rpcbind-tcp
      port: 111
      targetPort: 111
    - name: rpcbind-udp
      port: 111
      targetPort: 111
    - name: statd-tcp
      port: 662
      targetPort: 662
    - name: statd-udp
      port: 662
      targetPort: 662
  selector:
    app: nfs-gcs-server

• PV配置需指向正确的NFS服务地址和路径：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-gcs-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  nfs:
    server: nfs-gcs-service.default.svc.cluster.local
    path: "/exports"

二、是否改用SMB/CIFS？ #

SMB/CIFS可以作为替代，但并非最优选择：

• 优势：对Windows客户端兼容性更好，但K8s环境下需要额外安装cifs-utils或使用SMB CSI驱动。
• 劣势：性能普遍低于NFS，尤其是高并发场景；配置复杂度和NFS相当，同样需要处理权限、凭证和端口暴露问题。

如果上述NFS方案的问题能修复，优先保留NFS，更适配K8s容器化环境。

三、更简化的替代方案 #

如果不想维护中间NFS服务器，可直接使用：

• GCS CSI驱动：Google官方提供的CSI驱动，直接将GCS桶映射为K8s PV，无需额外NFS层，配置更简洁、性能更稳定。
• GCSFUSE Sidecar模式：在需要访问GCS的Pod中添加gcsfuse sidecar容器，挂载桶后通过emptyDir共享给主容器，避免NFS的复杂配置。

内容的提问来源于stack exchange，提问作者ccnmxns