如何指定TestDFSIO在HDFS已有文件上执行读写性能测试？

TestDFSIO默认会自动生成专属测试文件来执行读写基准测试，若要针对HDFS上已有的文件进行测试，需调整命令参数，具体操作如下：

核心参数调整 #

要读取已有文件，必须添加两个关键参数，同时移除生成测试文件相关的参数：

• -skipGenerateData：跳过自动生成测试文件的步骤，直接使用指定路径下的已有文件
• -dataDir：指定HDFS上已有文件所在的目录路径

修改后的命令示例 #

将你原有的命令调整为：

hadoop jar hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -read -skipGenerateData -dataDir /your/existing/hdfs/directory -resFile /TestDFSIOread.txt

参数说明 #

• 移除原命令中的-nrFiles和-fileSize：这两个参数用于控制自动生成测试文件的数量和大小，测试已有文件时无需指定
• /your/existing/hdfs/directory：替换为你实际要测试的已有文件所在的HDFS目录路径（该目录下的所有文件都会被纳入测试）
• -resFile：指定测试结果输出的文件路径（建议和写测试的结果文件区分开，比如改为TestDFSIOread.txt）

注意事项 #

• 确保执行命令的Hadoop用户对目标HDFS目录及文件拥有读取权限
• 如果仅需测试单个文件，可将-dataDir指定为该文件的完整路径，但TestDFSIO更适合批量测试目录下的多个文件

内容的提问来源于stack exchange，提问作者nada zayed