仅用HUnit在Cabal管理的Haskell项目中搭测试套件遇问题

一、核心概念澄清 #

1. exitcode-stdio-1.0 与 detailed-0.9 差异 #

• exitcode-stdio-1.0：极简测试接口，Cabal 仅通过测试程序的退出码判断结果——0为全部通过，非0为存在失败。测试程序自行处理输出内容，Cabal 不解析输出细节。
• detailed-0.9：结构化测试接口，要求测试程序输出机器可读的 XML 格式报告，Cabal 能解析并展示具体失败用例、错误原因等细节。HUnit 原生输出为人类可读文本，直接用这个接口会导致 Cabal 无法识别结果，甚至误判。

2. HUnit 与 QuickCheck 区别 #

• HUnit：基于具体用例的测试框架，需手动编写输入、预期输出和断言（如testCase "1+1=2" $ assertEqual "错误" 2 (1+1)），适合验证特定场景的逻辑正确性，属于白盒测试范畴。
• QuickCheck：基于属性的测试框架，只需定义逻辑的通用属性（如prop_addComm x y = x+y == y+x），框架自动生成大量随机输入验证属性是否成立，擅长发现边界 case，属于黑盒测试范畴。

3. Tasty 的作用 #

Tasty 是测试聚合框架，能将 HUnit、QuickCheck 等不同工具的测试用例整合到同一套件中，统一运行流程和输出格式。它封装了不同测试框架的适配逻辑，无需手动编写复杂的测试入口代码。如果仅用 HUnit，完全可以不用 Tasty，直接编写原生 HUnit 测试入口即可。

二、测试未按预期失败的排查步骤 #

1. 核对 Cabal 测试配置 #

在项目的.cabal文件中，测试目标的type必须与测试程序的输出逻辑匹配：
如果用 HUnit 原生runTestTT（依赖退出码判断结果），需设置为：

test-suite my-project-tests
  type: exitcode-stdio-1.0
  main-is: Tests.hs
  build-depends: base, HUnit  # 按需添加其他依赖

若错误设置为detailed-0.9，Cabal 因无法解析 HUnit 的文本输出，可能误判测试通过。

2. 检查测试入口代码 #

HUnit 的runTestTT仅返回测试统计结果，需手动将结果转换为对应退出码，否则无论测试成败，程序都会返回0（Cabal 判定为通过）。正确的入口示例：

import Test.HUnit
import System.Exit

-- 故意写失败的测试用例
failedTestCase :: Test
failedTestCase = testCase "1+1 应该等于3？" $ assertEqual "计算错误" 3 (1+1)

main :: IO ()
main = do
  testResults <- runTestTT $ TestList [failedTestCase]
  let hasFailures = failures testResults > 0 || errors testResults > 0
  exitWith $ if hasFailures then ExitFailure 1 else ExitSuccess

确保已导入System.Exit模块，且正确根据测试结果设置退出码。

3. 手动运行测试程序验证 #

直接编译并执行测试程序，观察输出和退出码：

cabal build my-project-tests
# 替换为实际编译后的测试程序路径
./dist-newstyle/build/x86_64-linux/ghc-9.6.2/my-project-0.1.0.0/test/my-project-tests-0.1.0.0

如果手动运行时能看到失败信息，但 Cabal 显示测试通过，说明退出码未正确设置；如果手动运行也无失败提示，需检查断言逻辑是否正确。

4. 验证断言逻辑 #

注意 HUnit 断言的参数顺序：assertEqual 提示信息 预期值 实际值，若将预期值和实际值写反，可能导致本该失败的测试被误判为通过。

内容的提问来源于stack exchange，提问作者Jir