如何清理Pandas DataFrame指定列特殊字符以解决Excel写入失败问题

使用正则字符组匹配指定特殊字符，结合pandas向量化字符串替换实现，无需手动遍历，性能更高且符合Python风格。

核心实现代码 #

# 匹配任意一个指定的特殊字符：" * / ( ) :
special_chars_pattern = r'["*/():]'
# 清理description列，将匹配到的字符替换为空格（要替换为空就把value改为''即可）
upload_df['description'] = upload_df['description'].str.replace(special_chars_pattern, ' ', regex=True)
# 可选：去除替换后产生的多余连续空格和首尾空格
upload_df['description'] = upload_df['description'].str.replace(r'\s+', ' ', regex=True).str.strip()

方案说明 #

• 正则中[]表示字符集，会匹配集合内的任意单个字符，仅处理你指定的特殊符号，不会误删中文、重音字符、横线、小数点等需要保留的内容，避免了\W匹配范围过大的问题
• pandas内置的str.replace是向量化操作，比逐行遍历、逐个字符替换的效率高很多，尤其适合大数据量场景
• 如果后续需要新增要清理的特殊字符，直接往[]内添加即可。注意如果添加]、^、-这三个字符时需要特殊处理：]要放在字符集最开头，^不要放在最开头，-放在最开头或最结尾，或者加反斜杠转义

完整流程插入位置 #

将上述清理代码放在创建upload_df之后、初始化pd.ExcelWriter之前即可，示例流程：

upload_df = sql_df.copy()
# -------------------- 插入特殊字符清理代码 --------------------
special_chars_pattern = r'["*/():]'
upload_df['description'] = upload_df['description'].str.replace(special_chars_pattern, ' ', regex=True)
upload_df['description'] = upload_df['description'].str.replace(r'\s+', ' ', regex=True).str.strip()
# -------------------- 清理结束 --------------------
# 后续模板操作和写入逻辑不变
src = file_name.format(val="")
date_str = " " + str(datetime.today().strftime("%d%m%Y%H%M%S"))
dst_file = file_name.format(val=date_str)
copyfile(src, os.path.join(save_path, dst_file))
work_book = load_workbook(os.path.join(save_path, dst_file))
writer = pd.ExcelWriter(os.path.join(save_path, dst_file), engine='openpyxl')
writer.book = work_book
writer.sheets = {ws.title: ws for ws in work_book.worksheets}
upload_df.to_excel(writer, sheet_name=sheet_name, startrow = 1, index=False, header = False)
writer.save()

内容的提问来源于stack exchange，提问作者Greyfox