Python3.11升级后导入自定义BeautifulSoup包装函数遇双重问题

1. TypeError: BeautifulSoup.__init__() got multiple values for argument 'features' 错误原因 #

升级Python到3.11时，大概率同步升级了BeautifulSoup4（bs4）库。新版本bs4对构造函数的参数传递规则做了严格限制：

• 旧版本bs4允许将解析器（如lxml）作为第二个位置参数传递，后续还可跟随其他位置参数（如编码）；
• 新版本bs4要求features参数（指定解析器）必须通过关键字传递（即features='lxml'），若仍用位置参数传递且搭配其他位置参数，会触发参数重复赋值的错误。

你改成关键字参数后错误消失，正好验证了这一点。

2. BeautifulSoup对象缺失HTML内容的可能原因 #

（1）请求返回的内容本身不完整 #

升级Python后，若使用的请求库（如requests）同步升级，默认请求头（如User-Agent）可能发生变化，目标网站可能返回反爬内容、截断内容或移动端页面，导致解析前的HTML就缺失大量信息。

（2）解析器版本或配置差异 #

更换解析器后问题仍存在，可能是：

• 新版本的解析器（如lxml、html.parser）对畸形HTML的容错逻辑和旧版本不同，旧版本能解析的残缺标签，新版本直接忽略；
• 不同解析器对HTML的规范化处理不同，部分内容被解析器自动清理。

（3）make_soup函数的预处理逻辑失效 #

如果原函数包含HTML预处理步骤（如编码转换、字符串清理），Python3.11的字符串/编码逻辑可能和3.8存在差异，导致传入BeautifulSoup的内容本身已损坏。

（4）模块导入冲突 #

重复代码能正常工作，说明导入的make_soup函数并非你预期的版本——可能存在同名模块、缓存的旧代码，导致导入的函数逻辑和你直接写的代码不一致。

排查与解决步骤 #

• 验证请求内容：在调用make_soup前，将请求到的HTML保存为本地文件，检查是否本身就缺失内容。如果是，还原旧环境的请求头（如User-Agent、Cookie），确保请求参数和Python3.8时一致。
• 对齐依赖版本：对比Python3.8和3.11环境的bs4、lxml、html5lib版本，尝试降级到旧环境的版本测试，确认是否是版本差异导致的问题。
• 检查预处理逻辑：核对make_soup中的编码转换、字符串处理代码，确保在Python3.11下能正确生成完整的HTML内容。
• 确认导入正确性：在调用make_soup前执行print(make_soup.__code__)，查看函数的实际源代码，确认没有导入到错误的函数版本。

内容的提问来源于stack exchange，提问作者sauropod