如何将Google Colab指定路径文件移动到HDFS的/user/root/目录下

前置说明 #

请先确认你的Google Colab环境已经正确配置HDFS客户端，且与目标HDFS集群网络连通，可正常执行hdfs dfs系列命令。

操作步骤 #

• 第一步：验证Colab本地存储的源文件存在，执行命令确认路径正确：
  ls /content/lastfm-dataset-1K/
  运行后可看到你已上传的tsv文件，匹配上传完成的状态截图：
  

• 第二步：确认HDFS目标存放目录存在，若不存在先创建目录，执行命令：
  hdfs dfs -mkdir -p /user/root
  本次需要的目标目录结构参考下图：
  

• 第三步：执行上传命令将本地文件写入HDFS指定路径：
  hdfs dfs -put /content/lastfm-dataset-1K/userid-timestamp-artid-artname-traid-traname.tsv /user/root/
  如果文件体积较大，等待命令执行完成即可，执行成功无额外输出。

• 第四步：验证文件是否上传成功，执行命令查看目标目录文件列表：
  hdfs dfs -ls /user/root/
  命令输出的列表中出现对应tsv文件，即说明操作完成。

异常处理 #

如果执行HDFS命令时提示权限不足，可在命令前添加sudo -u hdfs前缀执行，示例如下：
sudo -u hdfs hdfs dfs -put /content/lastfm-dataset-1K/userid-timestamp-artid-artname-traid-traname.tsv /user/root/

内容的提问来源于stack exchange，提问作者SAMUEL MAURICIO LASTRA GONZLEZ