You need to enable JavaScript to run this app. 如何使用Python及CAMeL Tools移除阿拉伯语变音符号
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Python及CAMeL Tools移除阿拉伯语变音符号

移除阿拉伯语变音符号的Python实现方案

基于CAMeL Tools的实现

步骤1:安装依赖

执行以下命令安装CAMeL Tools核心包:
pip install camel-tools
注:本次用到的dediac_ar为纯规则处理函数,无需额外拉取CAMeL的大型语料资源,安装完包即可直接使用。如果后续需要使用CAMeL的分词、词性标注、句法分析等其他功能,再执行camel_data -i defaults拉取对应资源即可。

代码实现

CAMeL提供了专门的阿拉伯语去变音工具函数dediac_ar,可直接调用:

from camel_tools.utils.dediac import dediac_ar

# 待处理原始文本
raw_input = "اللَّهمَّ اغْفِرْ لنَا ولوالدِينَا"
# 执行变音符号移除
processed_text = dediac_ar(raw_input)

print(processed_text)

运行后输出结果为:اللهم اغفر لنا ولوالدينا,和预期效果完全一致。

轻量替代方案(无需安装第三方包)

如果不想引入CAMeL Tools的依赖,可直接通过正则匹配阿拉伯语变音符号的固定Unicode区间实现移除:

import re

# 匹配所有阿拉伯语变音符号的正则表达式
tashkeel_regex = re.compile(r'[\u064B-\u0652\u0670]')

raw_input = "اللَّهمَّ اغْفِرْ لنَا ولوالدِينَا"
processed_text = tashkeel_regex.sub('', raw_input)

print(processed_text)

该方案处理效果与CAMeL实现完全一致,适合轻量场景使用。

注意事项

  • 两种方案均仅移除附加在字母上的变音标记,不会改动阿拉伯字母本身的字形
  • 批量处理大规模文本时,CAMeL的dediac_ar函数经过性能优化,处理速度优于手写正则
  • 安装CAMeL时若出现依赖冲突,可在独立虚拟环境中完成安装操作

内容的提问来源于stack exchange,提问作者user15295803

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 07:45:04