Python+BS4+Requests网页爬取：两种实现方案最优选择咨询

字典列表方案 #

• 适合场景：临时调试、快速验证爬取结果。不需要额外安装依赖，代码写起来直接高效，能快速查看单条数据的完整结构。但数据量较大时，打印输出会显得零散杂乱，没法直观对比多条数据。
• 劣势：可读性差，没有内置的数据处理能力，要做筛选、排序得自己写循环逻辑。

Pandas DataFrame方案 #

• 适合场景：需要长期维护脚本、后续要处理/导出数据。打印输出是规整的表格形式，一眼就能看清所有数据的结构，而且自带排序、筛选、导出CSV/Excel的功能，扩展性拉满。
• 小缺点：得额外安装pandas库，但这个库在Python数据处理场景里几乎是标配，pip install pandas就能搞定，成本很低。

• 如果只是爬一两页看看结果，选字典列表就行，简单直接；
• 如果要爬多页、后续还要分析或者导出数据，果断用DataFrame，省得后面返工改代码。

其实可以把两种方案结合，爬取的时候统一用字典列表存储数据（这是最通用的结构，转任何格式都方便），然后根据需求选择输出方式：

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time

def scrape_single_page(page_num):
    base_url = "https://themanifest.com/in/web-development/wordpress/companies?page="
    full_url = base_url + str(page_num)
    # 加UA伪装，降低被反爬的概率
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"}
    
    response = requests.get(full_url, headers=headers)
    soup = BeautifulSoup(response.text, "html.parser")
    
    companies = []
    # 替换成你实际的页面解析逻辑
    for card in soup.find_all("div", class_="company-listing"):
        name = card.find("h3").text.strip() if card.find("h3") else "无数据"
        rating = card.find("span", class_="rating-value").text.strip() if card.find("span", class_="rating-value") else "无数据"
        location = card.find("div", class_="location").text.strip() if card.find("div", class_="location") else "无数据"
        
        companies.append({
            "公司名称": name,
            "评分": rating,
            "所在地": location
        })
    return companies

# 爬取第1页示例数据
page_data = scrape_single_page(1)

# 选项1：打印字典列表
print("--- 字典列表输出 ---")
for comp in page_data:
    print(comp)

# 选项2：转DataFrame打印规整表格
print("\n--- DataFrame表格输出 ---")
df = pd.DataFrame(page_data)
print(df)

# 后续需要导出成CSV的话
# df.to_csv("wordpress服务商列表.csv", index=False, encoding="utf-8-sig")

再补充几个实用优化点：

• 加请求重试：可以用tenacity库，遇到请求失败自动重试，避免网络波动导致爬取中断；
• 批量爬多页：写个循环从page=1到目标页数，把所有页的数据合并到同一个列表里；
• 数据去重：爬完后用df.drop_duplicates()或者字典去重逻辑，避免重复条目；
• 控制爬取速度：每次请求后加time.sleep(1)，别太频繁请求，防止被网站限制访问。

内容的提问来源于stack exchange，提问作者zero