使用pandas合并文件夹内同字段CSV、XLS文件时出现ValueError报错
原代码存在的具体问题
- 直接触发报错的原因:合并文件列表时用了
all_filenames.append(all_files),这个方法是把all_files整个列表当成一个元素塞进all_filenames的末尾,最后生成的列表是嵌套结构。后续循环遍历取文件路径的时候,会拿到一个列表类型的对象传给pd.read_csv,自然会报“传入了list类型的无效路径”的错误。 - 逻辑匹配错误:虽然定义了匹配xls文件的后缀变量
new_extend = 'xls',但实际查找文件的时候,all_files的匹配规则还是沿用了csv的后缀名,根本没有收集到任何xls格式的文件路径。 - 读取逻辑不兼容:无论文件格式是什么,统一用
pd.read_csv读取,就算路径收集全了,读到xls文件的时候也会触发格式解析错误。 - 合并逻辑疏漏:原代码拼接DataFrame时没有设置索引重置,合并后会出现重复的原始索引,后续数据处理容易出问题。
修正后的可运行代码
import os import glob import pandas as pd os.chdir("/content/") # 分别匹配csv和xls格式的文件 csv_paths = glob.glob('*.csv') xls_paths = glob.glob('*.xls') # 直接合并两个文件列表,避免嵌套结构 all_file_paths = csv_paths + xls_paths # 根据文件后缀选择对应的读取方法 def read_single_file(file_path): if file_path.endswith('.csv'): return pd.read_csv(file_path) elif file_path.endswith('.xls'): return pd.read_excel(file_path) # 合并所有文件的数据,重置连续索引 combined_df = pd.concat([read_single_file(p) for p in all_file_paths], ignore_index=True) # 导出整合后的结果文件 combined_df.to_csv("combined_result.csv", index=False, encoding='utf-8-sig')
补充提示:如果读取xls文件时弹出依赖缺失报错,提前安装对应解析库即可:
pip install xlrd openpyxl
内容的提问来源于stack exchange,提问作者K C
相关产品推荐
相关产品推荐

