如何解决BeautifulSoup代码触发的mypy类型检查错误？

问题原因 #

mypy抛出错误的核心原因是：BeautifulSoup的类型标注里，soup.body返回的是Optional[Tag]（即可能为None），同理body.form也是Optional[Tag]。静态检查时，mypy无法确定这些元素一定存在，所以会提示你可能访问了None的属性。你的代码能正常运行是因为实际抓取的网页都包含<body>和<form>标签，但mypy会考虑所有潜在的边界情况。

解决方法 #

方法1：显式检查元素是否存在（最安全） #

先逐层判断body和form是否不为None，再执行后续操作，这样mypy会认可代码的安全性：

import bs4
from bs4 import Tag

soup = bs4.BeautifulSoup(resp.text, 'lxml')
headers = {}
btns = []

body = soup.body
if body is not None:
    form = body.form
    if form is not None:
        headers = {
            i['name']: i['value'] if i.has_attr('value') else i['id'] 
            for i in form.find_all(type='hidden')
        }
        btns = form.find_all(type='submit')

方法2：使用断言（适合确定网页结构固定的场景） #

如果你能保证目标网页一定包含<body>和<form>标签，可以用assert语句告诉mypy这些元素不会是None，同时也能在运行时捕获异常（如果网页结构意外变化）：

import bs4

soup = bs4.BeautifulSoup(resp.text, 'lxml')

# 断言body存在，否则抛出AssertionError
assert soup.body is not None, "网页未找到<body>标签"
# 断言form存在
assert soup.body.form is not None, "<body>中未找到<form>标签"

headers = {
    i['name']: i['value'] if i.has_attr('value') else i['id'] 
    for i in soup.body.form.find_all(type='hidden')
}

btns = soup.body.form.find_all(type='submit')

方法3：类型断言（强制mypy忽略None可能性） #

用typing.cast强制指定元素的类型为Tag，跳过mypy的检查。注意这种方式不会在运行时做验证，如果实际元素不存在，代码会抛出AttributeError：

import bs4
from typing import cast
from bs4 import Tag

soup = bs4.BeautifulSoup(resp.text, 'lxml')

# 强制指定body为Tag类型
body = cast(Tag, soup.body)
# 强制指定form为Tag类型
form = cast(Tag, body.form)

headers = {
    i['name']: i['value'] if i.has_attr('value') else i['id'] 
    for i in form.find_all(type='hidden')
}

btns = form.find_all(type='submit')

内容的提问来源于stack exchange，提问作者Woody1193