You need to enable JavaScript to run this app. 如何识别并提取CSV文件中使用罗马拼写的印地语(Hinglish)评论
优惠活动
大模型
产品
解决方案
定价
更多

如何识别并提取CSV文件中使用罗马拼写的印地语(Hinglish)评论

罗马化印地语(Hinglish)评论提取方案

核心实现思路

Hinglish和另外两类内容有明确的区分特征,你可以分两步筛选:

  • 先排除所有包含天城文字符的评论,过滤掉天城文书写的印地语内容
  • 再从剩余的罗马字母内容中,通过拼写特征、高频词匹配区分纯英语和Hinglish

可用正则表达式

第一步:过滤天城文行

天城文的Unicode编码范围为U+0900 ~ U+097F,用以下正则匹配不含天城文的行:

^[^\u0900-\u097F]+$

匹配成功的内容即为罗马字母书写的内容,包含英语和Hinglish两类。

第二步:匹配Hinglish内容

结合Hinglish特有的音译拼写规则、高频常用词,可使用以下正则筛选Hinglish内容:

^(?=.*\b(kh|gh|chh|jh|th|dh|ph|bh|aa|ee|ii|oo|uu|hai|nahi|ji|bhai|behen|acha|thik|kya|kaun|kyun|kar|raha|ho)\b)[a-zA-Z0-9\s!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~]+$

正则说明:

  • 前向断言部分匹配Hinglish常见拼写组合/高频词,你可以根据自己的语料库增减匹配项来调整准确率和召回率
  • 后面的字符组限制内容只能包含罗马字母、数字、常见标点,避免特殊符号干扰

补充优化建议

如果对识别准确率要求更高,不建议完全依赖正则,可搭配轻量语言识别工具,这类工具已经预训练了Hinglish的识别能力,对混合了少量英语词汇的Hinglish内容识别准确率远高于纯正则。

处理CSV文件时建议先使用对应语言的CSV解析库读取评论字段再做匹配,避免评论内容自带换行符导致行匹配错误。


内容的提问来源于stack exchange,提问作者Vinit

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 17:06:06