如何在Python中转换爬取得到的DataFrame并保存为CSV文件?
嘿,我来帮你搞定这个问题~下面分两部分解答:一是针对你爬取代码的具体实现,二是Python中保存DataFrame为CSV的通用方法。
针对爬取代码的具体实现
首先我先把你未完成的爬取代码补全核心逻辑(避免索引越界、空标签报错),然后直接添加保存CSV的关键步骤:
import requests from bs4 import BeautifulSoup import pandas as pd url = 'https://ev-database.uk' resp = requests.get(url) soup = BeautifulSoup(resp.text, 'lxml') urls = [] cars = [] for h in soup.find_all('h2'): a = h.find('a') if a: # 增加判断,避免找不到<a>标签时抛出异常 cars.append(a.attrs['href'][10:]) urls.append(a.attrs['href']) # 遍历前5个车型链接爬取详情(补全你的循环逻辑) table = pd.DataFrame() for x in range(min(5, len(urls))): # 用min防止urls长度不足5时索引越界 page_link = 'https://ev-database.uk' + urls[x] # 这里添加单个车型页面的数据爬取逻辑,示例如下: # resp_detail = requests.get(page_link) # soup_detail = BeautifulSoup(resp_detail.text, 'lxml') # 提取车型的各项参数,比如续航、价格等,转为字典 # car_info = {"车型名称": cars[x], "续航里程": "xxx km", "价格": "xxx"} # 将单条数据合并到总DataFrame中 # table = pd.concat([table, pd.DataFrame([car_info])], ignore_index=True) # 核心步骤:把生成的DataFrame保存为CSV文件 table.to_csv('电动车数据库.csv', index=False, encoding='utf-8-sig')
Python中保存DataFrame为CSV的通用方法
Pandas提供的DataFrame.to_csv()是最通用的解决方案,下面是几个高频使用的参数和场景:
基础保存:仅指定文件路径即可
df.to_csv('文件保存路径/文件名.csv')移除索引列:默认会把DataFrame的索引导出为第一列,用
index=False可以去掉这一列df.to_csv('无索引数据.csv', index=False)解决中文乱码:如果导出后中文显示乱码,推荐使用
utf-8-sig编码(兼容Windows和Mac系统)df.to_csv('中文数据.csv', index=False, encoding='utf-8-sig')自定义分隔符:默认分隔符是逗号,若需要其他分隔符(比如制表符),用
sep参数指定df.to_csv('制表分隔数据.csv', index=False, sep='\t')处理缺失值:用
na_rep参数给缺失值设置统一的替代文本df.to_csv('含缺失值数据.csv', index=False, na_rep='暂无数据')导出指定列:用
columns参数选择需要导出的列,减少文件体积df.to_csv('关键数据.csv', index=False, columns=['车型名称', '续航里程', '快充时间'])
内容的提问来源于stack exchange,提问作者David
相关产品推荐
相关产品推荐

