Python爬虫中while循环下高效读写文件的方法及数据安全疑问

关于方法2的疑问 #

方法2中用with语句管理文件，哪怕代码因异常崩溃，with的上下文管理器也会自动执行文件关闭操作，缓冲区里的数据会被刷写到磁盘，已写入的内容会保留。只有极端情况（比如系统崩溃、进程被强制杀死）才可能导致缓冲区未刷写的数据丢失，常规代码异常不会影响已写入的数据。

另外注意：你的方法2代码里with块结束后不用手动调用f.close()，with会自动处理；方法1里同样，with已经自动关闭文件，手动f.close()是多余的。

更高效的实现方式 #

可以采用批量写入+定期刷盘的方案，兼顾方法1的安全性和方法2的高效性：

• 先把爬取到的链接缓存到内存列表里
• 当列表里的链接数量达到设定的批量阈值时，一次性写入文件，并手动刷盘
• 爬取结束后，把剩余的链接写入文件

这种方式既减少了频繁打开/关闭文件的IO开销，又能避免内存缓存过多导致内存占用过高，同时定期刷盘能在代码崩溃时尽可能减少数据丢失。

优化后的代码示例 #

def crawl(max_pages, batch_size=100):
    urls_buffer = []
    FILE_NAME = "urls.txt"  # 替换为你的文件名
    
    with open(FILE_NAME, 'a') as f:
        page = 1
        while page <= max_pages:
            # 此处替换为实际爬取页面获取profile_url的逻辑
            # 示例：模拟爬取到链接
            profile_url = f"https://example.com/profile/{page}"
            
            urls_buffer.append(profile_url)
            
            # 达到批量大小则写入并清空缓冲区
            if len(urls_buffer) >= batch_size:
                f.write('\n'.join(urls_buffer) + '\n')
                f.flush()  # 强制将缓冲区数据写入磁盘
                urls_buffer = []
            
            page += 1
        
        # 处理剩余未写入的链接
        if urls_buffer:
            f.write('\n'.join(urls_buffer) + '\n')
            f.flush()

crawl(300)

方案对比 #

• 方法1：安全但IO效率低，适合数据量极小的场景
• 方法2：IO高效，但如果爬取量极大，内存中缓存的链接可能占用过多内存；不过with保证了异常时的文件安全
• 优化方案：平衡效率与安全性，适合大多数爬虫场景

内容的提问来源于stack exchange，提问作者Raymond