Haskell文件去重场景下如何避免相同inode的重复IO与哈希计算

你需要手动维护一个可变缓存来存储已经计算过哈希的inode，无法直接通过纯函数的引用透明自动实现该优化，因为文件读取、哈希计算都属于IO操作，不属于纯函数范畴。最轻量化的实现方案是使用IORef存储inode到SHA1的映射，具体实现如下：

第一步：导入依赖模块 #

import Data.IORef
import qualified Data.Map as Map
import Data.Map (Map)
import System.Posix.Types (CIno)
import Crypto.Hash (Digest, SHA1)

第二步：定义缓存结构与初始化方法 #

-- 缓存结构：key为inode编号，value为对应预计算好的SHA1哈希
type HashCache = IORef (Map CIno (Digest SHA1))

-- 初始化空缓存
newHashCache :: IO HashCache
newHashCache = newIORef Map.empty

第三步：改写核心处理函数，加入缓存判断 #

getFinfoCached :: HashCache -> FilePath -> IO Finfo
getFinfoCached cache path = do
    fstat <- getFileStatus path
    let inode = fileID fstat
    abspath <- absolutize path
    size <- getFileSize abspath
    -- 优先查询缓存中是否已有该inode的哈希
    cachedSha1 <- Map.lookup inode <$> readIORef cache
    sha1 <- case cachedSha1 of
        -- 缓存命中，直接返回已有结果，跳过读文件和哈希计算
        Just h -> pure h
        -- 缓存未命中，执行高开销操作后写入缓存
        Nothing -> do
            content <- Bytes.readFile abspath
            let h = hashWith SHA1 content
            modifyIORef' cache (Map.insert inode h)
            pure h
    let finfo = Finfo abspath size sha1 inode
    return finfo

第四步：调用方式 #

在启动扫描逻辑前初始化缓存，所有文件处理逻辑复用同一个缓存实例即可：

main = do
    cache <- newHashCache
    -- 假设你的遍历函数接收文件处理函数和根路径作为参数
    traverseFiles (getFinfoCached cache) "/要扫描的根路径"
    -- 后续去重逻辑无需修改

补充说明 #

• 该方案仅在单次扫描生命周期内生效，完全适配你当前的单次遍历去重场景，同一个inode的多个硬链接只会触发一次读文件和哈希计算
• 如果需要跨扫描的持久化缓存，可以把Map结构序列化后存在本地文件中，每次扫描前加载、扫描后更新即可
• 如果需要处理扫描过程中文件内容被修改的场景，可以额外加入文件修改时间、修改权限的校验逻辑，避免缓存返回过期结果

内容的提问来源于stack exchange，提问作者David Mertz