如何快速清理日文文本中的数字、英文、符号等非日文内容

处理效果示例 #

原文本片段：
Hi !こんにちは、私の給料は月額10000ドルです。 XO XO
处理后结果：
こんにちは、私の給料は月額ドルです。

方法1：Python脚本批量处理（适合多文件/大文件） #

• 提前安装好Python运行环境
• 新建后缀为.py的脚本文件，粘贴如下代码，修改对应文件路径后运行即可

import re

# 匹配规则：仅保留平假名、片假名、常用日文汉字、日文原生标点
keep_pattern = re.compile(r'[^\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FAF\u3000-\u303F]')

# 读取原文件，编码可根据实际文件调整，日文系统生成的文件常用shift-jis
with open('input.txt', 'r', encoding='utf-8') as input_file:
    raw_content = input_file.read()

# 清理非目标字符
clean_content = keep_pattern.sub('', raw_content)

# 输出清理后的文件
with open('clean_output.txt', 'w', encoding='utf-8') as output_file:
    output_file.write(clean_content)

• 运行后即可在脚本同目录得到清理完成的clean_output.txt文件

方法2：Notepad++手动处理（适合单文件/小体积文件） #

• 用Notepad++打开目标txt文件
• 按下Ctrl+H调出替换面板
• 「查找目标」填入[^\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FAF\u3000-\u303F]
• 「替换为」留空，查找模式选择正则表达式
• 点击「全部替换」即可完成清理

注意事项 #

• 如果需要保留特定符号，直接在正则规则的中括号内添加对应字符即可
• 若文件打开出现乱码，尝试将编码参数改为shift-jis后重试

内容的提问来源于stack exchange，提问作者sirimiri