Hadoop新手求助：本地文件迁移至HDFS后的数据比对方案

Hey there! 作为刚接触Hadoop的新手，完成本地文件到HDFS的迁移+数据校验其实没那么复杂，我给你拆解成几个清晰的步骤，跟着做就行：

这一步用Hadoop自带的命令行工具就能搞定，不用复杂的API：

• 先确认Hadoop集群正常运行：在集群节点上执行jps命令，能看到NameNode、DataNode（伪分布式环境至少能看到这两个）进程就说明没问题。
• 上传本地文件到HDFS：用hdfs dfs -put命令，格式如下：

  hdfs dfs -put /本地文件的绝对路径/文件名.xlsx /HDFS的目标路径/
  

  举个例子：hdfs dfs -put /home/soma/data/student_names.xlsx /user/soma/hadoop_data/
• 如果HDFS目标路径已经有同名文件，想覆盖的话加-f参数：hdfs dfs -put -f /本地路径/文件 /HDFS路径/
• 上传完成后做初步校验：用hdfs dfs -ls /HDFS目标路径/确认文件存在，或者hdfs dfs -du -h /HDFS目标路径/文件名查看文件大小，和本地文件大小对比，一致的话说明传输没出大问题。

这里分两种文件类型处理，因为Excel是二进制格式，不能像平面文件那样直接用命令行比对：

针对平面文件（如CSV、TXT）的快速比对 #

• 先把HDFS上的文件拉回本地临时目录：

  hdfs dfs -get /HDFS路径/文件名.txt /本地临时目录/
  

• 用Linux自带的diff命令做内容比对：

  diff /本地原文件路径/文件名.txt /本地临时目录/文件名.txt
  

  命令会直接输出两边不一样的行。
• 生成结构化差异报告：如果想要更清晰的对比格式，用diff的参数把差异行导出到文件：

  diff --side-by-side --suppress-common-lines /本地原文件/ /临时拉回的文件/ > flat_file_diff_report.txt
  

  这个报告里会只显示有差异的行，左右分栏对比本地和HDFS的内容，非常直观。

针对Excel文件的精准比对（以姓名数据场景为例） #

Excel是二进制格式，不能直接用diff，推荐用Python脚本批量处理，新手也能快速上手：

1. 先安装依赖包：

   pip install pandas openpyxl
   

2. 写一个简单的比对脚本（保存为excel_diff.py）：

   import pandas as pd
   
   # 读取本地原Excel和从HDFS拉回的Excel文件
   local_excel = "/本地原文件路径/names.xlsx"
   hdfs_excel = "/临时拉回的HDFS文件路径/names_from_hdfs.xlsx"
   local_df = pd.read_excel(local_excel)
   hdfs_df = pd.read_excel(hdfs_excel)
   
   # 找出两边的差异行，标记差异来源
   diff_result = pd.merge(local_df, hdfs_df, how='outer', indicator=True)
   diff_df = diff_result.query('_merge != "both"')
   diff_df.rename(columns={'_merge': '差异来源'}, inplace=True)
   diff_df['差异来源'] = diff_df['差异来源'].map({'left_only': '仅本地存在', 'right_only': '仅HDFS存在'})
   
   # 生成Excel格式的差异报告
   report_name = "excel_data_diff_report.xlsx"
   diff_df.to_excel(report_name, index=False)
   print(f"差异报告已生成：{report_name}")
   

3. 执行脚本：python excel_diff.py，就能得到一个包含所有差异行的Excel报告，里面会清楚标记哪些行只在本地有、哪些只在HDFS有，非常适合对账场景。

额外技巧：大文件的高效校验 #

如果文件很大，不想拉回本地，可以先比对MD5/校验值：

• 本地计算MD5：md5sum /本地文件路径/文件名
• HDFS上计算校验值：hdfs dfs -checksum /HDFS路径/文件名
  如果两者的校验值一致，说明文件在传输过程中没有损坏，再按需做内容级的比对即可。

内容的提问来源于stack exchange，提问作者Soma Sundaram