DistCp是用于大规模集群间/集群内数据拷贝的工具，实现了不同文件系统间的数据拷贝，本文将介绍如何使用DistCp从OSS中将数据拷贝到TOS

1 HDFS集成Proton访问TOS

请参考Proton访问TOS配置

2 HDFS集成Jindo访问OSS

2.1 Jindosdk准备

1. 下载并解压最新版本的jindosdk-${version}.tar.gz。下载地址
2. 对于集群任一节点，将jindo-core-${version}.jar、jindosdk-${version}.jar添加到hadoop的classpath下

tar zxvf jindosdk-x.x.x-linux.tar.gz

# add link
ln -sf jindo-core-${version}.jar $HADOOP_HOME/share/hadoop/hdfs/lib/
ln -sf jindosdk-${version}.jar $HADOOP_HOME/share/hadoop/hdfs/lib/

2.2. 配置文件修改

在core-site.xml中添加对象存储的FileSystem实现类，以OSS为例

<configuration>
    <property>
        <name>fs.AbstractFileSystem.oss.impl</name>
        <value>com.aliyun.jindodata.oss.OSS</value>
    </property>
    <property>
        <name>fs.oss.impl</name>
        <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
    </property>
</configuration>

访问对象存储需要region、认证信息，可以通过core-site.xml方式进行配置：

• core-site.xml

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>********</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>********</value>
    </property>

    <property>
        <name>fs.oss.endpoint</name>
        <!-- 阿里云ECS环境下推荐使用内网OSS Endpoint，即oss-cn-xxx-internal.aliyuncs.com -->
        <value>oss-cn-xxx.aliyuncs.com</value>
    </property>
</configuration>

2.3. 验证配置访问OSS的连通性

# 确定可以通过hdfs命令查看到OSS桶里的文件，需要集群的每个节点都能访问到OSS桶里的文件
hdfs dfs -ls oss://test-bucket/ 

3 使用DistCp命令进行数据迁移

# 构造 DistCp命令将HDFS数据拷贝到TOS
 hadoop distcp \
 -Dmapreduce.job.queuename=default \
 -Dmapreduce.job.name=oss->tos  \
 -i  \
 -update \
 -delete  \
 -direct \
 -m 50 \
 -bandwidth 50 \
 -numListstatusThreads=40 \
 -skipcrccheck \
 oss://bucket-name/source_path \
 tos://bucket-name/my_target_path  

参数配置: