如何识别并提取CSV文件中使用罗马拼写的印地语(Hinglish)评论
罗马化印地语(Hinglish)评论提取方案
核心实现思路
Hinglish和另外两类内容有明确的区分特征,你可以分两步筛选:
- 先排除所有包含天城文字符的评论,过滤掉天城文书写的印地语内容
- 再从剩余的罗马字母内容中,通过拼写特征、高频词匹配区分纯英语和Hinglish
可用正则表达式
第一步:过滤天城文行
天城文的Unicode编码范围为U+0900 ~ U+097F,用以下正则匹配不含天城文的行:
^[^\u0900-\u097F]+$
匹配成功的内容即为罗马字母书写的内容,包含英语和Hinglish两类。
第二步:匹配Hinglish内容
结合Hinglish特有的音译拼写规则、高频常用词,可使用以下正则筛选Hinglish内容:
^(?=.*\b(kh|gh|chh|jh|th|dh|ph|bh|aa|ee|ii|oo|uu|hai|nahi|ji|bhai|behen|acha|thik|kya|kaun|kyun|kar|raha|ho)\b)[a-zA-Z0-9\s!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~]+$
正则说明:
- 前向断言部分匹配Hinglish常见拼写组合/高频词,你可以根据自己的语料库增减匹配项来调整准确率和召回率
- 后面的字符组限制内容只能包含罗马字母、数字、常见标点,避免特殊符号干扰
补充优化建议
如果对识别准确率要求更高,不建议完全依赖正则,可搭配轻量语言识别工具,这类工具已经预训练了Hinglish的识别能力,对混合了少量英语词汇的Hinglish内容识别准确率远高于纯正则。
处理CSV文件时建议先使用对应语言的CSV解析库读取评论字段再做匹配,避免评论内容自带换行符导致行匹配错误。
内容的提问来源于stack exchange,提问作者Vinit
相关产品推荐
相关产品推荐

