如何在Haskell的Scalpel库中获取非IO类型的网页抓取结果？

首先得点出你遇到的核心问题：Scalpel的网页抓取操作是IO动作，你不能直接跳过IO上下文去获取它的返回值——这也是Haskell纯函数特性的体现，所有有副作用的操作（比如网络请求）都被封装在IO monad里，必须在IO上下文里执行才能得到有效结果。

为什么rembrantImages返回空列表？ #

如果你的rembrantImages是尝试直接从IO里"提取"值（比如错误地用了unsafePerformIO或者忽略IO直接写纯函数），那结果肯定不对。举个反例，这种写法是错误且不可靠的：

-- 错误示例！不要这么做
rembrantImages :: Maybe [WikiImg]
rembrantImages = unsafePerformIO (scrapeURL "your-target-url" imgSelector)

unsafePerformIO会绕开Haskell的类型安全，而且很多时候会因为IO动作没有被正确执行、或者延迟执行导致返回空值，绝对不推荐用这种方式。

正确获取Maybe [WikiImg]的方法 #

要得到有效的Maybe [WikiImg]，你必须在IO上下文里处理scrapeURL的结果，具体可以这么做：

1. 定义你的抓取IO动作
   首先写一个返回IO (Maybe [WikiImg])的函数，这是Scalpel的标准用法：

import Text.HTML.Scalpel

data WikiImg = WikiImg { wikiImgSrc :: String } deriving (Show)

-- 替换成你实际需要的CSS选择器
imgSelector :: Selector
imgSelector = "img" @: [hasClass "wiki-image"]

rembrantImagesIO :: IO (Maybe [WikiImg])
rembrantImagesIO = scrapeURL "https://your-target-url.com" $ do
  srcAttrs <- attrs "src" imgSelector
  return $ map WikiImg srcAttrs

2. 在IO上下文里处理结果
   要拿到这个Maybe [WikiImg]的值，你需要在IO动作里（比如main函数或者其他IO函数）绑定这个结果，然后处理Just和Nothing的情况：

main :: IO ()
main = do
  maybeImages <- rembrantImagesIO
  case maybeImages of
    Just images -> do
      putStrLn "成功抓取到图片："
      mapM_ (print . wikiImgSrc) images
      -- 这里你可以把images传递给其他需要它的IO函数，或者做后续处理
    Nothing -> putStrLn "抓取失败：要么网络出错，要么页面没有匹配的图片"

额外的调试技巧（针对Scalpel资料少的问题） #

因为StackOverflow上Scalpel的资料确实不多，我分享几个实用的调试方法：

• 拆分抓取步骤：把网络请求、HTML解析、选择器匹配分开调试，排查问题出在哪一步：

  debugScrape :: IO ()
  debugScrape = do
    -- 第一步：获取原始HTML
    maybeRawHtml <- fetchURL "https://your-target-url.com"
    case maybeRawHtml of
      Nothing -> putStrLn "网络请求失败，检查URL或网络连接"
      Just rawHtml -> do
        -- 第二步：解析HTML
        let parsedHtml = parseHTML rawHtml
        -- 第三步：测试选择器
        let maybeSrcs = scrape parsedHtml $ attrs "src" imgSelector
        print maybeSrcs -- 直接打印选择器匹配结果，看是否为空
  

• 检查页面是否是静态HTML：Scalpel只能抓取服务器渲染的静态HTML，如果目标页面是JS动态生成的内容（比如滚动加载、AJAX渲染），Scalpel就抓不到，这时候你需要结合能处理JS的工具（比如Haskell的hselenium库，调用浏览器渲染页面后再抓取）。
• 验证选择器：可以先在浏览器的开发者工具里用CSS选择器测试，确认选择器能匹配到目标元素，再写到Scalpel里。

内容的提问来源于stack exchange，提问作者Mark Karavan