Solaris 11.2 ZFS ARC元数据过早回收，元数据读取性能低下求助

我来帮你分析下Solaris 11.2 ZFS上元数据读取慢的问题——毕竟你顺序读写能跑700MB/s，说明存储硬件底子没问题，问题大概率出在ZFS的元数据配置或目录结构上：

ZFS的元数据性能几乎完全依赖ARC（自适应替换缓存），先排查这几个关键配置：

• 检查ARC元数据缓存命中率：用arcstat dm命令查看当前ARC中元数据缓存的占比和命中率。如果命中率低于90%，说明元数据没被有效缓存。可以修改/etc/system文件，添加set zfs:zfs_arc_meta_limit = 0x<数值>（比如设为物理内存的50%，16G内存就设为0x400000000），重启后生效，专门给元数据预留更多缓存空间。
• 开启目录索引特性：ZFS默认可能没开启目录B-tree索引，这对大目录遍历影响极大。执行zfs set directoryindex=on pool/your_dataset，开启后ZFS会给目录创建索引，大幅提升find、ls这类操作的速度。开启后可以先卸载再挂载数据集（zfs umount pool/your_dataset && zfs mount pool/your_dataset），触发索引生成。
• 调整记录大小：如果你的场景以小文件为主，把数据集的recordsize从默认128KB调低到32KB或64KB，比如zfs set recordsize=32K pool/your_dataset。注意这个只对新文件生效，旧文件需要重新写入才会应用。

• 拆分大目录：13万文件堆在一个目录里本身就不合理，ZFS的目录对象会因为文件过多碎片化，导致元数据查找耗时剧增。建议按哈希、日期或业务逻辑拆分到子目录，比如每1000个文件放一个子目录，从根源减少单目录的元数据量。
• 关闭非必要特性：如果不需要压缩（或能接受无压缩），可以执行zfs set compression=off pool/your_dataset，减少元数据处理的额外开销；不建议关闭校验和，除非你能承担数据损坏的风险。
• 利用L2ARC扩展缓存：如果物理内存不足，添加一块SSD作为L2ARC缓存，专门缓存元数据。执行zpool add pool_name l2arc /dev/dsk/cXtXdXsX，之后用zpool iostat -v查看L2ARC的命中率，能有效缓解内存不足导致的元数据缓存失效问题。

• 调整内核缓存压力：检查vfs_cache_pressure参数，这个控制内核回收inode缓存的力度。执行sysctl vfs_cache_pressure查看默认值（通常是100），如果元数据缓存经常被回收，把它调低到50，执行echo vfs_cache_pressure=50 >> /etc/sysctl.conf永久生效，让内核优先保留inode缓存。
• 预热元数据缓存：你现在用find > files.txt的临时方案其实是在预热缓存，不如把这个操作做成定时任务（比如用cron每小时执行一次），让元数据始终保持在ARC缓存里，后续的查询操作就会快很多。

• 检查磁盘随机IO性能：元数据访问是随机IO，顺序读写好不代表随机IO强。用iostat -xnz 1查看磁盘的await（平均响应时间）和svctm（服务时间），如果await超过20ms，说明磁盘随机IO性能差，考虑换成SSD或者升级RAID卡的缓存。
• 检查ZFS池碎片率：用zpool status查看池的碎片情况，如果碎片率超过30%，建议备份数据后重新创建池并迁移数据，高碎片会大幅增加元数据查找的IO路径长度。

这些方法从缓存、配置到结构逐步推进，先试开启directoryindex和调整ARC元数据缓存，这两个是最立竿见影的优化点。

内容的提问来源于stack exchange，提问作者SleepyCal