咨询本地磁盘与HDFS读取Parquet文件的性能优劣适用条件

你的测试结果差异核心源于Parquet列式存储特性带来的IO模式差异，以及本地磁盘和HDFS在不同IO模式下的性能表现差异，具体优劣势场景如下：

本地磁盘性能更优的场景 #

• 全量/多列顺序扫描（如执行select * from table）
  Parquet全列扫描时会以连续大块的方式读取整个文件，属于典型的大块顺序IO。本地磁盘没有HDFS的网络传输开销、NameNode元数据交互延迟，能充分发挥自身带宽优势，因此吞吐量远高于远程HDFS。若PageCache命中，性能还会进一步放大——直接从内存读取完全规避磁盘IO延迟。

HDFS性能更优的场景 #

• 单列/少量列随机扫描（如执行select result from table）
  Parquet列式存储中，单列数据分散在文件的多个离散数据块中，读取时需要进行大量随机IO。普通本地HDD的随机IO性能天生薄弱，寻道延迟会大幅拖慢读取速度。而HDFS的集群架构恰好适配这种场景：
  • 数据分片存储在多节点，查询时可通过多线程并行读取多个分片的目标列数据，用集群并发能力抵消随机IO延迟；
  • DataNode通常配备多块磁盘，并行IO能力更强；
  • HDFS客户端的预取、流水线传输机制，能优化小数据块的读取效率，反而比本地磁盘的随机IO表现更优。

补充说明 #

• 若本地使用SSD磁盘，随机IO性能会大幅提升，单列扫描场景下本地磁盘的表现可能逆转超过HDFS；
• 当文件数量越多、并发线程数越高时，HDFS的集群并行优势会更明显，而本地磁盘受限于单盘IOPS和带宽上限，性能提升会遇到瓶颈。

内容的提问来源于stack exchange，提问作者Micro