将Hadoop数据迁移至Teradata的简化方案咨询

方案一：使用Teradata官方Hadoop连接器（推荐） #

这是最直接的方式，无需导出中间文件，直接在Hive/Impala中完成数据迁移。

• 让运维在Hadoop集群部署Teradata Connector for Hadoop，并帮你在Hive/Impala中创建关联Teradata目标表的外部表（配置项包括Teradata的IP、用户名、密码、目标库表名）。
• 执行简单的SQL即可完成迁移：

  -- Hive/Impala通用语法
  INSERT INTO TABLE teradata_target_table
  SELECT * FROM your_hive_impala_table;
  

  连接器会自动处理数据传输、格式转换，全程在集群间的专用网络完成，避免本地网络问题。

方案二：Impala导出到HDFS + Teradata批量加载工具 #

绕开本地下载，直接在集群间传输数据：

1. 用Impala导出数据到HDFS（避免本地下载）：

   EXPORT TABLE your_impala_table
   TO '/hdfs_path/exported_data'
   WITH OVERWRITE;
   

   数据会以高效的Parquet格式存储在HDFS上，Hadoop运维可以帮你确认路径权限。
2. 用Teradata的FastLoad/MultiLoad工具加载：
   编写Teradata加载脚本，配置HDFS访问参数（让Teradata运维帮忙配置HDFS客户端），直接从HDFS拉取数据导入目标表。示例FastLoad脚本核心逻辑：

   .LOGON teradata_ip/td_user,td_password;
   DEFINE SCHEMA teradata_target_table;
   .IMPORT HDFS('/hdfs_path/exported_data/*') FORMAT PARQUET;
   INSERT INTO teradata_target_table;
   .LOGOFF;
   

方案三：导出CSV到共享存储 + Teradata加载 #

如果必须用CSV格式，避免本地下载：

1. 在Impala/Hive导出CSV到HDFS：

   -- Impala语法
   INSERT OVERWRITE DIRECTORY '/hdfs_path/csv_data'
   ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
   STORED AS TEXTFILE
   SELECT * FROM your_impala_table;
   

2. 把HDFS上的CSV同步到Teradata服务器的共享存储（比如NFS挂载目录）：
   让Hadoop运维执行distcp命令，直接在集群间传输：

   hadoop distcp hdfs://hadoop_cluster_ip/hdfs_path/csv_data/ nfs://teradata_server_ip/shared_dir/
   

3. 在Teradata服务器用BTEQ导入CSV：

   .LOGON teradata_ip/td_user,td_password;
   .IMPORT INFILE '/shared_dir/*.txt' DELIMITER ',';
   INSERT INTO teradata_target_table VALUES (:col1, :col2, :col3); -- 按字段顺序对应
   .LOGOFF;
   

关键小贴士 #

• 所有Hadoop集群上的操作请让运维协助，你只需提供源表名、Teradata目标表信息即可。
• 优先选择方案一，无中间文件，出错概率最低。
• 全程避免通过本地电脑中转数据，彻底解决网络下载失败问题。

内容的提问来源于stack exchange，提问作者Luke