CDH 5.10.2中使用DistCp从HDFS复制到Azure Blob存储失败求助

我来帮你排查这个DistCp上传失败的问题，结合CDH5.10.2的环境特性，咱们一步步梳理可能的原因和解决办法：

1. 检查core-site.xml的配置完整性 #

你已经配置了账户名和密钥，但老版本CDH可能需要额外参数来启用Azure Blob文件系统。确保你的core-site.xml里有以下完整配置：

<!-- 指定Azure Blob文件系统实现类 -->
<property>
  <name>fs.azure</name>
  <value>org.apache.hadoop.fs.azure.NativeAzureFileSystem</value>
</property>
<!-- 替换为你的实际存储账户密钥 -->
<property>
  <name>fs.azure.account.key.testblobsAccount1.blob.core.windows.net</name>
  <value>你的Azure存储账户密钥字符串</value>
</property>

配置完成后必须重启HDFS和YARN服务——因为DistCp依赖YARN调度任务，仅重启HDFS可能无法生效。

2. 修正DistCp命令的日志路径问题 #

你命令里的-log /usr/myuser/是本地路径，但DistCp默认会将日志写入HDFS路径（除非显式指定file://前缀）。如果该本地路径不存在或无权限，会直接导致任务启动失败。建议改成HDFS路径：

hadoop distcp /user/myuser/file1.txt wasb://cont1@testblobsAccount1.blob.core.windows.net/folder1/ -log /user/myuser/distcp-logs/

若确实需要本地日志，调整为：

hadoop distcp /user/myuser/file1.txt wasb://cont1@testblobsAccount1.blob.core.windows.net/folder1/ -log file:///usr/myuser/

3. 验证Azure Blob的基础访问条件 #

• 确认容器cont1确实存在于testblobsAccount1存储账户中，目标路径folder1无需提前创建（DistCp会自动生成）
• 再次核对core-site.xml里的账户名和密钥，确保和你用Azure Storage Explorer验证的完全一致——注意密钥不要包含多余空格或换行

4. 检查CDH环境的Azure依赖包 #

CDH5.10.2对应的Hadoop版本是2.7.3，本身支持wasb协议，但需确保HDFS服务的classpath包含以下关键jar包：

• hadoop-azure-2.7.3-cdh5.10.2.jar
• azure-storage-4.2.0.jar（或对应兼容版本）

你可以通过Cloudera Manager进入HDFS服务配置页，查看「服务宽classpath」是否包含这些jar。若缺失，需手动添加或通过Cloudera的Azure插件补充依赖。

5. 获取完整错误日志定位核心问题 #

你只提供了日志开头的INFO信息，关键错误堆栈未展示。建议：

• 直接查看命令执行时的终端stderr输出
• 查看HDFS Namenode日志或YARN应用日志
• 若日志路径配置正确，前往对应HDFS目录查看DistCp生成的详细日志

常见错误类型包括：权限认证失败（密钥/账户名错误）、文件系统找不到（缺失Azure依赖jar）、路径不存在（容器名/存储账户名拼写错误）

内容的提问来源于stack exchange，提问作者Carlos Gomez