很高兴能帮你解决这两个问题，下面我分点详细说明：

1. Hadoop中合并小文件的常见方法 #

Hadoop生态里有不少处理小文件的方案，各有适用场景：

• Hadoop Archive (HAR)：这是Hadoop原生的归档工具，能把一堆小文件打包成单个HAR文件，对外看起来是一个文件，但内部保留原文件结构。它主要适合冷数据归档——毕竟读取HAR里的文件需要额外解压步骤，读写性能不如原生HDFS文件。执行命令示例：

  hadoop archive -archiveName myfiles.har -p /user/input /user/output
  

• SequenceFile/MapFile：把小文件转成键值对存储（文件名作为key，文件内容作为value）。这种方式能大幅减少NameNode的元数据压力，而且后续如果要基于这些文件内容做计算，也能直接读取序列文件处理，比反复打开小文件高效。你可以用MapReduce或者自定义程序生成这类文件。
• CombineFileInputFormat：它不是把小文件物理合并，而是在MapReduce作业的读取阶段，把多个小文件合并到一个InputSplit里，让一个Map任务处理多个小文件。这样能减少Map任务的数量，避免大量小任务带来的调度开销，特别适合小文件多的MapReduce作业。
• HDFS Federation + Erasure Coding：从集群架构层面优化。Federation让多个NameNode分担元数据存储压力，Erasure Coding则能降低小文件的存储开销，间接缓解小文件带来的管理和存储问题。
• 用HBase存储：如果你的小文件是结构化或半结构化数据（比如你的JSON文件），把数据存入HBase是个不错的选择。HBase的存储模型天生适合处理大量小数据条目，能避开HDFS的小文件瓶颈。

2. 80万2KB JSON文件高效合并方案（替代Spark repartition/coalesce） #

首先得说，Spark的repartition和coalesce在这个场景下效率低很正常：repartition会触发全量shuffle，开销极大；coalesce虽然不shuffle，但把80万分区合并到1个，单个任务要处理的IO和数据量太大，再加上Spark本身的任务调度、序列化开销，自然慢得超出预期。

给你几个更高效的替代方案，按推荐优先级排序：

方案一：用HDFS自带的getmerge命令 #

这是最轻量化的方案，完全不需要启动分布式计算框架，直接在HDFS层面完成合并，开销极小。
命令示例：

# 基础合并，注意如果每个JSON是单行对象，合并后可能需要处理格式
hadoop fs -getmerge /path/to/your/json/files /path/to/output/large.json

# 带换行分隔的合并（推荐），每个文件内容后加换行，避免JSON对象连在一起
hadoop fs -getmerge -nl /path/to/your/json/files /path/to/output/large.json

如果需要把合并后的文件转成合法的JSON数组，可以在合并后用简单的shell脚本处理：

# 在开头加[，结尾加]，并把换行替换成,（最后一行的,要去掉）
sed -i '1s/^/[/; $s/$/]/; $!s/$/,/' /path/to/output/large.json

优势：速度极快，没有额外的计算框架开销，纯文件系统操作，完美适配你的纯合并需求。

方案二：轻量MapReduce作业（Hadoop Streaming） #

如果getmerge满足不了你的特殊需求（比如需要在合并前做简单的JSON处理），可以用Hadoop Streaming写个极简的MapReduce作业，开销比Spark小很多。
核心思路：Map任务读取每个小JSON文件并输出内容，Reduce任务直接把所有输入内容拼接起来（用cat当reducer就行）。
示例命令：

hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \
  -files mapper.py \
  -mapper mapper.py \
  -reducer cat \
  -input /path/to/your/json/files \
  -output /path/to/output_dir

其中mapper.py就是一个简单的读取内容并打印的脚本：

import sys
for line in sys.stdin:
    # 这里可以加简单的JSON处理逻辑，比如过滤字段等
    print(line.strip())

执行完成后，/path/to/output_dir/part-r-00000就是合并后的大文件。

方案三：用DistCp做合并复制 #

如果你需要跨集群合并文件，或者要保留文件的权限、属性，可以用DistCp的追加参数来合并：

hadoop distcp -append -numListstatusThreads 100 /path/to/your/json/files/* /path/to/output/large.json

• -append：把每个小文件的内容追加到目标文件
• -numListstatusThreads：增加线程数，提升大量小文件的元数据查询效率

额外注意事项 #

• 确保每个原始JSON文件是单行JSON对象，这样合并后的文件更容易处理成合法的JSON数组；如果是多行JSON，合并前需要先把每个文件转成单行格式。
• 尽量让输入和输出路径在同一个HDFS集群，避免跨集群的网络带宽瓶颈；如果是本地磁盘，确保磁盘有足够的IO性能。

内容的提问来源于stack exchange，提问作者Vishwas Rao