在Kubernetes部署的Jupyter Notebook中导入本地数据至HDFS失败求助

1. 修正HDFS路径格式 #

你的命令里的路径格式不符合HDFS的URL规范，正确格式应为hdfs://<namenode-host>:<port>/<file-path>，而非hdfs:<host>/path。

假设namenode默认端口为9000（HDFS标准端口），且你原命令中的cluster.data是cluster.local的笔误（Kubernetes集群内部服务域名后缀通常为cluster.local），修正后的命令如下：

data.to_csv("hdfs://hdfs-namenode-0.hdfs-namenode.default.svc.cluster.local:9000/NameOfFile")

2. 安装必要的Python依赖 #

Pandas本身不直接支持HDFS写入，需额外安装依赖库提供文件系统适配：

• 使用pyarrow实现HDFS读写：

  pip install pyarrow
  

• 使用hdfs库配合Pandas：

  pip install hdfs
  

安装完成后重新执行写入命令。

3. 验证Kubernetes内部网络连通性 #

在Jupyter Notebook的终端中，测试与namenode服务的连通性：

• 测试DNS解析是否正常：

  ping hdfs-namenode-0.hdfs-namenode.default.svc.cluster.local
  

• 测试端口是否可达：

  telnet hdfs-namenode-0.hdfs-namenode.default.svc.cluster.local 9000
  

若无法连通，需检查Kubernetes网络策略是否允许Jupyter Pod访问namenode服务，或namenode Pod是否正常运行。

4. 检查HDFS权限配置 #

确保HDFS目标路径允许Jupyter Pod的运行用户写入：

1. 登录namenode Pod，创建目标目录：

   hdfs dfs -mkdir -p /user/jupyter
   

2. 设置合适的写入权限（示例为开放权限，可根据实际需求调整）：

   hdfs dfs -chmod 777 /user/jupyter
   

之后修改写入路径到该目录下：

data.to_csv("hdfs://hdfs-namenode-0.hdfs-namenode.default.svc.cluster.local:9000/user/jupyter/NameOfFile")

5. 配置HDFS客户端文件（可选） #

若不想每次都写完整的namenode地址，可将HDFS的core-site.xml和hdfs-site.xml配置文件挂载到Jupyter Pod的/etc/hadoop/conf目录下，Python库会自动读取配置，此时命令可简化为：

data.to_csv("hdfs:///user/jupyter/NameOfFile")

内容的提问来源于stack exchange，提问作者Monica