如何避免在BeautifulSoup中编写过多try-catch代码块？

方法1：用通用异常捕获函数包裹查找逻辑 #

写一个接收可调用对象的函数，在内部执行查找并捕获异常，替代重复的try-except块：

def safe_extract(func):
    try:
        return func()
    except (AttributeError, TypeError):  # 只捕获元素查找时的常见错误
        return None

使用示例：

res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")

primary_name = safe_extract(lambda: soup.find('div', {"class": "company-header"}).find('p', {"class": "heading-xlarge"}).text)
company_number = safe_extract(lambda: soup.find('p', id="company-number").find('strong').text.strip())

用lambda把整个查找逻辑包装起来，仅在safe_extract内部执行时触发异常捕获，避免提前报错。

方法2：使用CSS选择器直接定位目标元素 #

利用BeautifulSoup的select_one方法，通过CSS选择器一步定位到最内层目标元素，再判断元素是否存在：

res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")

# 提取公司名称
name_elem = soup.select_one('div.company-header p.heading-xlarge')
primary_name = name_elem.text if name_elem else None

# 提取公司编号
number_elem = soup.select_one('p#company-number strong')
company_number = number_elem.text.strip() if number_elem else None

这种方式避免了嵌套链式调用，逻辑直观，通过元素存在性判断规避NoneType错误。

方法3：自定义链式查找工具类 #

如果需要频繁进行链式查找，可以写一个工具类自动处理None的情况：

class SafeSoup:
    def __init__(self, soup):
        self.soup = soup

    def find(self, *args, **kwargs):
        if not self.soup:
            return SafeSoup(None)
        result = self.soup.find(*args, **kwargs)
        return SafeSoup(result)

    @property
    def text(self):
        return self.soup.text if self.soup else None

    def strip(self):
        return self.text.strip() if self.text else None

使用示例：

res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
safe_soup = SafeSoup(soup)

primary_name = safe_soup.find('div', {"class": "company-header"}).find('p', {"class": "heading-xlarge"}).text
company_number = safe_soup.find('p', id="company-number").find('strong').text.strip()

该类会包装每一步的查找结果，即使中间步骤返回None，后续调用也不会报错，直接返回None。

内容的提问来源于stack exchange，提问作者Visrut