如何在Python中移除字符串中的非波斯字符及相关技术疑问

核心实现代码 #

针对你的需求，用正则表达式匹配并移除所有非波斯字符的代码如下：

import re

def strip_non_persian(text):
    # 匹配所有非波斯字符并替换为空字符串
    # 覆盖波斯语核心字符+特有字符
    return re.sub(r'[^\u0600-\u06FF\uFB8A\u067E\u0686\u06AF]', '', text)

# 测试示例
sample_input = "00سلامabc"
sample_output = strip_non_persian(sample_input)
print(sample_output)  # 输出: سلام

你的技术疑问解答 #

1. 应选用ASCII还是Unicode字符类型？

• 必须用Unicode。ASCII仅包含基础英文字符、数字和符号，完全不覆盖波斯语字符。波斯语属于Unicode的扩展字符集范畴，处理这类非英语文本只能基于Unicode。

2. ASCII或Unicode中是否有波斯字符范围？

• ASCII不存在波斯字符。Unicode中波斯语字符主要分布在U+0600至U+06FF的阿拉伯文区块，但波斯语有几个专属字符不在这个区块的通用范围内，需要单独补充：U+067E（پ）、U+0686（چ）、U+06AF（ژ），以及波斯语的字母ی（U+FB8A）。

3. 应使用阿拉伯语还是波斯语相关规则？

• 必须用波斯语专属规则。波斯语和阿拉伯语共享部分字符，但波斯语有独有的字符，且部分字符的标准形态与阿拉伯语不同（比如阿拉伯语的ي在波斯语中对应ی）。如果直接套用阿拉伯语的字符范围，会漏掉波斯特有的字符，或者保留不符合波斯语规范的字符变体。

4. 如何查找字母的字符范围？

• 可以通过两种方式：
  • 在Python中用ord()函数获取单个波斯字符的Unicode编码，比如ord('پ')会返回1662，即U+067E；
  • 查询Unicode官方字符数据库，搜索“波斯语 Unicode 字符”，获取完整的字符区间和专属字符编码，再整合到正则表达式中。

内容的提问来源于stack exchange，提问作者HosseinSedghian