从本地K8s集群迁移数据至Azure存储文件共享的问题咨询

一、解决当前遇到的两个问题 #

问题1：非root用户无法执行sudo mount #

可以通过修改Dockerfile给非root用户添加免密码执行mount的权限，绕过root权限限制：

FROM ubuntu:20.04

# Install necessary packages
RUN apt-get update && \
    apt-get install -y \
    netcat \
    cifs-utils \
    sudo \
    && rm -rf /var/lib/apt/lists/*

# Add a non-root user
RUN groupadd -g 1001 mygroup && \
    useradd -u 1001 -g mygroup -ms /bin/bash myuser && \
    usermod -aG sudo myuser

# 给myuser添加免密码执行mount的权限
RUN echo "myuser ALL=(ALL) NOPASSWD: /usr/bin/mount" >> /etc/sudoers

USER myuser
WORKDIR /home/myuser
CMD ["tail", "-f", "/dev/null"]

如果集群允许配置容器能力，也可以在Pod的securityContext中添加权限（部分严格集群可能禁用此配置）：

securityContext:
  capabilities:
    add: ["SYS_ADMIN", "DAC_READ_SEARCH"]

问题2：PVC挂载时hostAliases不生效 #

PVC的卷挂载由节点kubelet执行，hostAliases是容器级配置，kubelet不会读取。可以直接在PV层面绕过域名解析，通过IP访问并提供验证所需的主机名：

1. 先创建存储账户密钥的Secret：

apiVersion: v1
kind: Secret
metadata:
  name: azure-storage-secret
type: Opaque
data:
  accountname: <base64编码的存储账户名>
  accountkey: <base64编码的存储账户密钥>

2. 配置Azure文件PV：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: azure-file-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  storageClassName: azurefile
  csi:
    driver: file.csi.azure.com
    volumeHandle: <存储账户名>/<文件共享名>
    nodeStageSecretRef:
      name: azure-storage-secret
      namespace: default
    volumeAttributes:
      server: x.x.x.x  # 你能访问的Azure存储共享IP
      shareName: <文件共享名>
    mountOptions:
      - vers=3.0
      - servername=<存储账户名>.file.core.windows.net  # 验证必须的主机名

这样kubelet直接通过IP访问存储共享，同时提供验证所需的主机名，无需依赖DNS解析。

二、更优数据迁移方案 #

1. Azure Data Box（大体积数据首选） #

如果数据量在TB/PB级别，直接申请Azure Data Box物理设备，将NFS数据拷贝到设备后寄回Azure，由官方团队导入到你的存储账户，完全避免网络带宽瓶颈，迁移效率最高。

2. Kubernetes Job批量同步 #

创建Kubernetes Job，挂载NFS和Azure文件共享（使用上述PV配置），通过rsync做增量同步，还可以配置多并行Job分片处理不同目录提升速度：

apiVersion: batch/v1
kind: Job
metadata:
  name: data-migration-job
spec:
  template:
    spec:
      containers:
      - name: sync-container
        image: your-custom-image  # 包含rsync、cifs-utils的镜像
        command: ["rsync", "-avz", "/nfs-data/", "/azure-file-data/"]
        volumeMounts:
        - name: nfs-volume
          mountPath: /nfs-data
        - name: azure-file-volume
          mountPath: /azure-file-data
      volumes:
      - name: nfs-volume
        nfs:
          server: <NFS服务器IP>
          path: /nfs-share-path
      - name: azure-file-volume
        persistentVolumeClaim:
          claimName: azure-file-pvc
      restartPolicy: OnFailure

3. Azure File Sync（持续/增量迁移） #

在本地部署一台可访问NFS和Azure的服务器，安装Azure File Sync代理，将NFS共享映射为本地磁盘，配置同步组将数据同步到Azure文件共享，支持增量同步和双向同步，适合需要保持两地数据一致的场景。

4. rsync+Azure CLI直接同步 #

在迁移Pod中安装Azure CLI，通过服务主体授权后，使用az storage file sync命令直接同步NFS数据到Azure文件共享，无需挂载Azure文件共享，减少挂载环节的问题：

• 在Dockerfile中添加Azure CLI安装：

RUN curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash

• 容器内执行同步命令：

az login --service-principal -u <客户端ID> -p <客户端密钥> --tenant <租户ID>
az storage file sync upload --source /nfs-data --destination <文件共享名> --account-name <存储账户名> --recursive

内容的提问来源于stack exchange，提问作者apasic