Hadoop新手技术问询：本地文件入HDFS时机及相关技术疑问

Hey there! No worries at all—every expert started as a newbie, so your questions are totally valid. Let’s break them down one by one:

1. 本地文件系统与HDFS是否存在差异？ #

Absolutely, there are key differences tailored for distinct use cases:

• 设计目标: HDFS是为集群环境下的大规模数据集（TB/PB级）分布式存储而生，而本地文件系统（如ext4、NTFS）更适配单节点、小体量数据的快速随机访问。
• 存储结构: HDFS会将文件拆分为固定大小的块（默认128MB），并在多个DataNode上复制这些块以实现容错；本地文件系统则将文件作为单一单元存储，无原生复制机制。
• 容错能力: HDFS自动复制块（默认3份）来应对DataNode故障；本地文件系统依赖RAID等外部工具实现冗余，并非原生支持。
• 访问模式: HDFS优化了顺序读写（适配MapReduce、Spark批量任务），本地文件系统则擅长小文件的随机读写。
• 交互方式: 操作HDFS需用Hadoop专属工具（如hadoop fs命令）或API，本地文件则用标准OS I/O操作即可。

2. MapReduce相关子问题解答 #

a. 使用fileinputformat.addInputPath()指定输入路径后，系统是否会将数据拆分至多个DataNode并执行InputSplit操作？ #

是的，但前提是输入路径指向HDFS数据（而非本地文件）：

• Hadoop会将输入数据划分为逻辑块InputSplit，默认每个Split的大小与HDFS块（128MB）大致匹配。
• JobTracker（或YARN ResourceManager）会将Map任务分配到存储对应HDFS块的DataNode上执行——这就是「数据本地化」，能最大限度减少网络传输开销。
• 如果输入是本地文件，Hadoop仍会生成Split，但所有Map任务都会在本地机器运行，不会分布式到DataNode集群。

b. 这些数据会在DataNode中留存多久？ #

首先要明确：InputSplit是逻辑分区，而非物理数据移动。原始HDFS块会一直存储在DataNode上，除非：

• 你通过hadoop fs -rm等命令手动删除文件；
• 配置了HDFS的「回收站过期规则」（针对回收站中的删除文件）或「临时数据自动清理策略」；
• MapReduce处理过程中，Map任务生成的中间数据会存在DataNode本地磁盘，待整个任务成功完成后，这些中间数据会被自动清理。

c. 能否针对HDFS中已有的数据编写MapReduce程序？ #

当然可以——这正是MapReduce最常见的使用场景！你只需在FileInputFormat.addInputPath()中指定HDFS路径即可，示例代码如下：

FileInputFormat.addInputPath(job, new Path("hdfs://your-namenode:9000/path/to/your/hdfs/data"));

MapReduce会直接读取HDFS上的现有数据进行分布式处理，处理结果也可直接写入HDFS（或其他支持的文件系统），无需先将数据迁移到本地。

3. 本地系统中的文件何时会被移入HDFS？ #

HDFS不会自动将本地文件移入集群，需要手动触发或通过配置工具实现：

• 手动上传: 使用HDFS命令行工具，比如hadoop fs -put /local/file/path /hdfs/target/path或hdfs dfs -copyFromLocal /local/path /hdfs/path。
• 编程式上传: 通过HDFS Java API（如FileSystem.copyFromLocalFile()）在应用中实现文件上传。
• 自动化工具: 像Flume（用于日志流数据）、Sqoop（用于关系型数据库与HDFS间的数据传输）这类工具，可配置为按调度或触发条件自动将本地数据同步到HDFS。

内容的提问来源于stack exchange，提问作者Pragmatic