Haskell readFile是否全量读入内存？如何读取10GB大文件倒数第n行

关于readFile与现有代码的内存问题 #

你当前的实现思路完全无法处理10GB级别的大文件，哪怕用了惰性readFile也会触发内存不足崩溃：

• readFile的惰性仅指「不需要一次性把整个文件从磁盘加载到内存再开始处理」，会按程序求值需求逐块读取文件内容，不会自动跳过不需要的内容、也不会自动回收你代码里持有的引用指向的内存。
• 你的现有逻辑需要先计算文件总行数myLen才能算出目标行索引，要得到总行数必须逐行遍历完整个文件；同时drop idx myLines的逻辑需要持有整个行列表的引用才能定位目标行，意味着整个10GB文件的内容会全部驻留内存，必然OOM。
• 原生readFile返回的String是链表结构，每个字符存在数倍的额外内存开销，哪怕文件只有几百MB，用String处理也会占用数倍于文件大小的内存，完全不适合大文本场景。

可行实现方案 #

方案1：惰性列表滑动窗口（实现简单，内存恒定，需全量扫描文件） #

不需要提前计算总行数，用滑动窗口的思路遍历惰性行列表：遍历过程中始终维护一个长度为n的窗口，每读到新行就把窗口最旧的行弹出、新行加入，遍历到文件末尾时窗口的第一个元素就是目标倒数第n行。
这个方案的内存占用仅和n的大小、单行平均长度有关，和文件总大小无关——遍历过程中已经离开窗口的旧行没有任何引用，会被GC自动回收，不会长期驻留内存。
注意：处理大文件请用惰性ByteString替代原生String，速度和内存效率会提升数十倍

import qualified Data.ByteString.Lazy.Char8 as BL
import Data.Maybe (fromJust)

-- n从1开始计数，对应倒数第n行
getLastNthLine :: Int -> BL.ByteString -> BL.ByteString
getLastNthLine n content = fst . fromJust $ lastMay $ zip lineList (drop (n-1) lineList)
  where
    lineList = BL.lines content
    lastMay [] = Nothing
    lastMay xs = Just $ last xs

main :: IO ()
main = do
  -- 替换为你的文件路径和目标n值
  targetLine <- getLastNthLine 3 <$> BL.readFile "10gb_file.txt"
  BL.putStrLn targetLine

⚠️ 注意：不要在这个逻辑里调用length lineList获取总行数，一旦调用就会强制求值整个行列表，直接导致全量内容加载进内存。

方案2：文件尾倒序读块（性能最优，内存极低，无需全量扫描） #

如果追求最高性能，可以直接通过文件句柄从文件末尾往前读固定大小的块，统计块内换行符数量，直到累计找到n个换行符后，切出目标行即可。
这个方案不需要读取整个文件，n较小时（比如取倒数10行）仅需要读取文件末尾几十到几百KB的内容，处理10GB文件的速度比全量扫描快几个量级，内存占用仅和设置的块大小（一般设为64KB即可）有关。

import System.IO
import qualified Data.ByteString as BS
import Data.Word (Word8)

newline :: Word8
newline = 10 -- 换行符ASCII值

blockSize :: Int
blockSize = 64 * 1024 -- 单次读块大小64KB，可根据磁盘性能调整

getLastNthLineFast :: Int -> FilePath -> IO BS.ByteString
getLastNthLineFast n path = withBinaryFile path ReadMode $ \h -> do
  fileSize <- hFileSize h
  if fileSize == 0
    then return BS.empty
    else go h (fromIntegral fileSize) 0 []
  where
    go h offset newlineCount acc
      | newlineCount > n = do
          let fullContent = BS.concat $ reverse acc
              lineList = BS.split newline fullContent
          return $ lineList !! (length lineList - n)
      | offset <= 0 = do
          hSeek h AbsoluteSeek 0
          firstBlock <- BS.hGet h blockSize
          let fullContent = BS.concat $ reverse (firstBlock : acc)
              lineList = BS.split newline fullContent
              totalLines = length lineList
          return $ if totalLines >= n then lineList !! (totalLines - n) else BS.empty
      | otherwise = do
          let readSize = min blockSize offset
              newOffset = offset - readSize
          hSeek h AbsoluteSeek (fromIntegral newOffset)
          block <- BS.hGet h readSize
          let addNewlineNum = BS.count newline block
          go h newOffset (newlineCount + addNewlineNum) (block : acc)

main :: IO ()
main = do
  targetLine <- getLastNthLineFast 3 "10gb_file.txt"
  BS.putStr targetLine

内容的提问来源于stack exchange，提问作者halloleo