如何在BeautifulSoup中忽略含hidden或visibility='hidden'属性的元素？

直接用soup.find_all(string=True)会把所有文本节点（包括隐藏元素的）都捞出来，要过滤掉带hidden属性或visibility:hidden样式的元素，可以这么做：

基础版：只检查当前元素的属性 #

先筛选出无hidden属性且style里不含visibility:hidden的元素，再提取它们的文本：

from bs4 import BeautifulSoup

# 假设html是你的目标网页内容
soup = BeautifulSoup(html, 'html.parser')

# 列表推导式一步到位，自动过滤空文本
visible_texts = [
    elem.get_text(strip=True)
    for elem in soup.find_all(
        lambda tag: not tag.has_attr('hidden') 
        and (not tag.has_attr('style') or 'visibility:hidden' not in tag['style'])
    )
    if elem.get_text(strip=True)
]

进阶版：兼容样式里的空格和大小写 #

如果网页里的样式写得比较随意（比如visibility: hidden或VISIBILITY:HIDDEN），可以用正则匹配来覆盖这些情况：

from bs4 import BeautifulSoup
import re

soup = BeautifulSoup(html, 'html.parser')
# 匹配各种格式的visibility:hidden
style_pattern = re.compile(r'visibility\s*:\s*hidden', re.IGNORECASE)

visible_texts = [
    elem.get_text(strip=True)
    for elem in soup.find_all(
        lambda tag: not tag.has_attr('hidden') 
        and (not tag.has_attr('style') or not style_pattern.search(tag['style']))
    )
    if elem.get_text(strip=True)
]

升级版：处理父元素隐藏的情况 #

如果元素本身没隐藏，但父元素带了hidden属性或隐藏样式，子元素的文本其实也是不可见的。这种情况可以写个辅助函数递归检查父节点：

from bs4 import BeautifulSoup
import re

soup = BeautifulSoup(html, 'html.parser')
style_pattern = re.compile(r'visibility\s*:\s*hidden', re.IGNORECASE)

def is_element_visible(elem):
    # 检查当前元素
    if elem.has_attr('hidden'):
        return False
    if elem.has_attr('style') and style_pattern.search(elem['style']):
        return False
    # 递归检查所有父节点
    parent = elem.parent
    while parent and parent.name != '[document]':
        if parent.has_attr('hidden') or (parent.has_attr('style') and style_pattern.search(parent['style'])):
            return False
        parent = parent.parent
    return True

visible_texts = [
    elem.get_text(strip=True)
    for elem in soup.find_all(text=False)
    if is_element_visible(elem) and elem.get_text(strip=True)
]

内容的提问来源于stack exchange，提问作者john