Python网页爬虫无法正常打印及写入结构化结果求助

看起来你已经搞定了最关键的解析部分，卡在输出环节了对吧？输出混乱通常要么是遍历数据的逻辑有问题，要么是打印/存储的方式没做好。我来给你几个针对性的调整思路：

1. 先确认数据结构的一致性 #

首先得确保你解析出来的name和data是一一对应的集合，避免出现数量不匹配导致的错位。可以先加个校验：

# 替换成你实际的解析代码
names = soup.find_all('div', class_='name-class')  # 示例选择器，根据网页结构修改
datas = soup.find_all('div', class_='data-class')

# 先验证两个列表长度是否一致
print(f"Name条目数: {len(names)}, Data条目数: {len(datas)}")

2. 用配对遍历规范输出逻辑 #

如果数据是一一对应的，用zip()函数来配对遍历，这样输出就不会乱序了：

# 遍历并格式化打印
for name_item, data_item in zip(names, datas):
    # 提取纯文本（根据实际标签结构调整）
    name_text = name_item.get_text(strip=True)
    data_text = data_item.get_text(strip=True)
    # 用格式化字符串规整输出格式
    print(f"✅ 名称: {name_text}\n📊 数据: {data_text}\n---")

如果name和data是嵌套在同一个父容器里的（比如每个条目都有一个包含name和data的div），更稳妥的方式是先遍历父容器，再在每个容器内提取对应字段：

# 遍历每个条目容器
for item in soup.find_all('div', class_='item-container'):
    name_text = item.find('span', class_='name').get_text(strip=True)
    data_text = item.find('span', class_='data').get_text(strip=True)
    print(f"名称: {name_text}, 数据: {data_text}")

3. 若要输出到CSV（你已导入csv模块） #

如果是输出到CSV文件时出现混乱，确保每行写入一组对应数据：

with open('crawl_result.csv', 'w', newline='', encoding='utf-8') as csv_file:
    writer = csv.writer(csv_file)
    # 写入表头
    writer.writerow(['Name', 'Data'])
    # 遍历写入每条数据
    for name_item, data_item in zip(names, datas):
        writer.writerow([name_item.get_text(strip=True), data_item.get_text(strip=True)])

常见问题排查 #

• 检查是否有多余的空白字符：用strip=True可以去除文本前后的空格、换行符，避免输出杂乱
• 确认解析逻辑是否真的正确：可以单独打印单个name和data的内容，看是否是预期值
• 如果是异步加载的内容：你的代码用了requests，如果网页是JS动态加载的，可能需要用selenium或者requests-html来获取完整页面

内容的提问来源于stack exchange，提问作者SIM