如何判断Haskell中文件是否为二进制文件及解决读取报错

你遇到的核心问题很明确：二进制文件的字节序列不符合文本编码规则，导致hGetLine在尝试解码时直接抛出异常，根本没机会执行后续的isUTF8Encoded判断。要解决这个问题，我们需要先以二进制模式读取文件的原始字节，提前判断是否为文本文件，再决定是否读取行内容。

下面是具体的实现方案：

方案1：基于ASCII可打印字符的判断 #

传统意义上的二进制文件通常包含大量不可打印的ASCII控制字符（除了换行、回车、制表符这类文本常见的控制符）。我们可以读取文件的前若干字节（比如1024字节，足够快速判断），检查是否包含这类非文本特征：

import System.IO
import Data.ByteString (ByteString)
import qualified Data.ByteString as BS
import Data.Word (Word8)
import System.Directory (getFileSize)

-- 判断单个字节是否属于文本友好的范围
isTextByte :: Word8 -> Bool
isTextByte w = 
  (w >= 0x20 && w <= 0x7E)  -- 可打印ASCII字符
  || w `elem` [0x0A, 0x0D, 0x09]  -- 允许换行、回车、制表符

-- 检查文件是否为文本文件（读取前1024字节判断）
isTextFile :: FilePath -> IO Bool
isTextFile fname = do
  handle <- openFile fname ReadMode
  hSetBinaryMode handle True  -- 关键：以二进制模式打开，避免自动编码转换
  bytes <- BS.hGet handle 1024  -- 只读取前1024字节，提升效率
  hClose handle
  let hasNonTextBytes = any (not . isTextByte) bytes
  return $ not hasNonTextBytes

-- 修改后的readALine函数
readALine :: FilePath -> IO ()
readALine fname = do
  putStr $ "Filename: " ++ fname ++ "; "
  fs <- getFileSize fname
  if fs > 0 then do
    isText <- isTextFile fname
    if isText then do
      hand <- openFile fname ReadMode
      fline <- hGetLine hand
      hClose hand
      putStrLn "Not binary file."
      putStrLn $ "First line: " <> fline
    else putStrLn "Binary file, skipping."
  else putStrLn "Empty file, skipping."

方案2：基于UTF-8解码的判断 #

如果你的场景主要处理UTF-8编码的文本文件，可以尝试将读取的字节解码为UTF-8，成功则视为文本文件，失败则视为二进制：

import System.IO
import Data.ByteString (ByteString)
import qualified Data.ByteString as BS
import Data.Text.Encoding (decodeUtf8')
import System.Directory (getFileSize)

-- 检查文件是否为UTF-8编码的文本文件
isUTF8TextFile :: FilePath -> IO Bool
isUTF8TextFile fname = do
  handle <- openFile fname ReadMode
  hSetBinaryMode handle True
  bytes <- BS.hGet handle 1024
  hClose handle
  case decodeUtf8' bytes of
    Right _ -> return True  -- 解码成功，是UTF-8文本
    Left _ -> return False  -- 解码失败，视为二进制

-- 使用这个判断的readALine
readALine :: FilePath -> IO ()
readALine fname = do
  putStr $ "Filename: " ++ fname ++ "; "
  fs <- getFileSize fname
  if fs > 0 then do
    isUTF8Text <- isUTF8TextFile fname
    if isUTF8Text then do
      hand <- openFile fname ReadMode
      fline <- hGetLine hand
      hClose hand
      putStrLn "Not binary file (UTF-8 encoded)."
      putStrLn $ "First line: " <> fline
    else putStrLn "Binary file or non-UTF8 text, skipping."
  else putStrLn "Empty file, skipping."

为什么你的原始代码会报错？ #

hGetLine默认会使用系统的默认文本编码去解码文件字节流。当遇到二进制文件时，字节序列不符合编码规则，Haskell会直接抛出invalid byte sequence异常，程序根本执行不到isUTF8Encoded的判断步骤。而我们上面的方案通过二进制模式读取原始字节，提前完成判断，避免了解码异常。

注意事项 #

• 使用hSetBinaryMode handle True是关键，它会让文件句柄跳过系统的自动编码转换，直接读取原始字节。
• 只读取前1024字节是为了效率，避免读取大文件的全部内容；如果你的场景需要更严格的判断，可以读取更多字节甚至整个文件，但通常前1KB足够区分文本和二进制。
• 两种方案的取舍：方案1适合判断传统的ASCII文本，方案2适合现代的UTF-8多语言文本，你可以根据自己的需求选择。

内容的提问来源于stack exchange，提问作者rnso