You need to enable JavaScript to run this app. Python爬虫导出csv时writer.writerow(data)报已关闭文件I/O操作的ValueError
优惠活动
大模型
产品
解决方案
定价
更多

Python爬虫导出csv时writer.writerow(data)报已关闭文件I/O操作的ValueError

报错根本原因

触发ValueError: I/O operation on closed file的核心问题是CSV文件的操作上下文范围写错:
Python 中通过with语句打开文件时,代码块执行结束会自动释放资源、关闭文件句柄。你的代码大概率把「遍历文章节点、逐行写入CSV」的逻辑写到了with打开文件的代码块外部,等到循环执行到writer.writerow(data)时,文件已经被提前关闭,此时再调用写入操作就会抛出I/O错误。

典型错误代码结构参考:

import csv

# 打开文件、创建写入器的代码块
with open("article.csv", "w") as f:
    writer = csv.writer(f)
    writer.writerow(["Title", "Date", "Intro"])
# with块执行完毕,文件已经被自动关闭

# 以下遍历、写入逻辑全部在块外,此时writer关联的文件已失效
for article_node in article_list:
    title = article_node.find("h2").text.strip()
    date = article_node.find(".published").text.strip()
    intro = article_node.find(".excerpt").text.strip()
    data = [title, date, intro]
    writer.writerow(data) # 此处触发报错
可正常运行的修复方案

修复逻辑

  • 把所有依赖文件句柄的操作(写表头、遍历文章节点、逐行写数据)全部放到with文件上下文块内部,保证整个写入流程中文件处于打开状态
  • 给网络请求补全基础请求头,避免被目标站点反爬拦截
  • 补全新闻节点的字段提取规则,匹配目标站点的页面结构

完整可运行代码

import requests
from bs4 import BeautifulSoup
import csv

# 目标站点新闻列表地址
main_url = "https://www.datatrust.construction/news/"

def webscraper(url):
    # 模拟浏览器请求头
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
    }
    # 发起请求获取页面内容
    resp = requests.get(url, headers=headers, timeout=10)
    resp.raise_for_status()
    # 用html.parser解析返回内容
    soup = BeautifulSoup(resp.text, "html.parser")
    return soup

# 获取页面解析对象
soup = webscraper(main_url)

# 定位新闻列表容器
article_container = soup.find("div", class_="et_pb_ajax_pagination_container")

# 所有文件写入逻辑全部放在with块内部
with open("article.csv", "w", encoding="utf-8-sig", newline="") as csv_file:
    writer = csv.writer(csv_file)
    # 写入表头
    writer.writerow(["Title", "Date", "Intro"])

    # 遍历容器内的每篇新闻节点
    for article in article_container.find_all("article"):
        # 提取标题
        title_elem = article.find("h2")
        title = title_elem.get_text(strip=True) if title_elem else ""
        # 提取发布日期
        date_elem = article.find(class_="post-meta")
        date = date_elem.get_text(strip=True) if date_elem else ""
        # 提取内容简介
        intro_elem = article.find(class_="post-content")
        intro = intro_elem.get_text(strip=True)[:200] if intro_elem else ""

        # 逐行写入CSV
        data = [title, date, intro]
        writer.writerow(data)
注意事项
  • 打开CSV时加newline=""参数,避免Windows系统下导出的文件出现多余空行
  • 用utf-8-sig编码写入,保证打开CSV时中文内容不会出现乱码
  • 提取字段时加空值判断,避免页面元素变动导致脚本崩溃

内容的提问来源于stack exchange,提问作者Me M

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 23:06:10