如何将本地大文件高效拷贝至Kubernetes集群中挂载PV的Pod

kubectl cp 底层依赖Kubernetes apiserver做流量代理，默认设置了流量阈值与连接超时限制，传输百GB级大文件时极易触发连接中断，你遇到的client_loop: send disconnect: Broken pipe就是典型的传输超时断连报错，kubectl cp本身不适用于超大文件传输场景。

方案1：rsync断点续传（最推荐，支持断连后续传，无需改动集群配置） #

• 首先在Pod内安装ssh服务端与rsync工具，根据Pod的基础镜像选择对应命令：
  Debian/Ubuntu系镜像：

  kubectl exec -it <你的Pod名> -n <Pod所在命名空间> -- apt update && apt install -y openssh-server rsync
  

  CentOS/RHEL系镜像：

  kubectl exec -it <你的Pod名> -n <Pod所在命名空间> -- yum install -y openssh-server rsync
  

• 启动Pod内的ssh服务并设置临时root密码（传输完成后可删除相关配置）：

  kubectl exec -it <你的Pod名> -n <Pod所在命名空间> -- bash -c "echo 'root:自定义临时密码' | chpasswd && service ssh start"
  

• 本地执行端口转发，将本地2222端口映射到Pod的22端口：

  kubectl port-forward <你的Pod名> -n <Pod所在命名空间> 2222:22
  

• 新开本地终端执行rsync命令传输文件，中途断连后重新执行同一条命令即可从断点继续传输，无需重新传全量：

  rsync -avzP --partial /本地/350GB大文件的完整路径 root@127.0.0.1:/Pod内PV的挂载目录/ -p 2222
  

方案2：PV临时挂载中转（云环境场景下传输效率最高） #

你所处的云内网场景可直接操作存储卷，不走网络传输链路，速度最快：

• 先将Pod副本数调整为0（或直接删除Pod），确保对应PV处于未被占用的可挂载状态
• 登录云服务商控制台，将该PV绑定的云存储卷临时挂载到你存放大文件的本地云服务器上
• 本地挂载完成后直接拷贝文件到云盘，完成后卸载云盘，再重新将PV绑定回Pod即可

方案3：分卷压缩传输（适合无法修改Pod内配置的场景） #

不需要在Pod内安装额外工具，通过拆分文件降低单文件传输超时概率：

• 本地将大文件分卷压缩，每卷大小设置为10GB，避免单文件过大触发超时：

  tar -cvzf - /本地大文件路径 | split -b 10G - /本地临时目录/大文件分包.tar.gz.
  

• 逐个传输拆分后的分包：

  kubectl cp /本地临时目录/大文件分包.tar.gz.xx <Pod所在命名空间>/<你的Pod名>:/PV内目标目录/
  

• 所有分包传输完成后，在Pod内执行命令合并解压：

  cat /PV内目标目录/大文件分包.tar.gz.* | tar -xzvf - -C /PV内目标目录/
  

传输完成后建议校验文件完整性，本地执行md5sum /本地大文件路径，Pod内执行md5sum /PV内对应文件路径，两个命令返回的哈希值一致即为传输成功。

内容的提问来源于stack exchange，提问作者Kunal Malhotra