You need to enable JavaScript to run this app. 如何实现支持Emoji、多语言字符的文本Hashtag标签提取
优惠活动
大模型
产品
解决方案
定价
更多

如何实现支持Emoji、多语言字符的文本Hashtag标签提取

多语言hashtag提取实现逻辑

核心实现思路

  • 这套需求不需要写复杂的逐字符状态机,用带Unicode支持的正则匹配就能覆盖所有规则,维护成本极低
  • 核心逻辑完全贴合要求:以#为标签起始标识,碰到空格、@、$、%、^、&、*类分隔符就终止标签匹配
  • 采用排除式规则定义标签内容范围,不需要硬编码各语言的字符集合,不管是中文、泰文、缅甸文这类多语言字符,还是emoji、数字、拉丁字母,只要不在分隔符集合内都能被正确识别

通用匹配正则

适配所有支持Unicode模式的正则引擎的通用表达式:
/#(?!$)([^@$%^&\*\s]+)/gu
各段规则说明:

  • #:匹配hashtag的起始标识
  • (?!$):负向先行断言,排除字符串末尾仅存在单独#、没有有效标签内容的无效场景,避免把孤立的#误识别为标签
  • [^@$%^&\*\s]+:捕获1个及以上不属于分隔符集合的字符,方括号内的^表示“排除”,后面列出的空格、@、$、%、^、&、*均为触发标签结束的分隔符,匹配到就立即停止捕获
  • u:Unicode模式开关,确保多语言字符、emoji不会被拆成单个UTF-16代理单元,出现错配

各语言落地示例

JavaScript 实现

const sampleText = "this is a #awesome event, lets use the tag #fun #😊 #中文 #อักษรไทย #မြန်မာဘာသာ #777";
const hashtagReg = /#(?!$)([^@$%^&\*\s]+)/gu;

// 提取后自动去掉开头的#,得到纯标签内容
const tagList = sampleText.match(hashtagReg)?.map(item => item.slice(1)) ?? [];
// 最终匹配结果:["awesome", "fun", "😊", "中文", "อักษรไทย", "မြန်မာဘာသာ", "777"]

Python 实现

import re

sample_text = "this is a #awesome event, lets use the tag #fun #😊 #中文 #อักษรไทย #မြန်မာဘာသာ #777"
hashtag_pattern = re.compile(r'#(?!$)([^@$%^&\*\s]+)', re.UNICODE)

tag_list = [match.group()[1:] for match in hashtag_pattern.finditer(sample_text)]
# 匹配结果与JS示例完全一致

灵活适配说明

  • 如果需要调整分隔符规则,直接修改[^...]内的字符集合即可。比如要把逗号、感叹号也作为标签结束符,直接把对应字符加入集合,无需改动其他逻辑
  • 如果业务场景不希望识别连续#开头的标签(比如##test不提取test为标签),只需把#也加入排除集合即可
  • 若碰到极老旧的运行环境不支持Unicode模式,也可以手动补充各语言的Unicode字符范围到捕获规则,不过目前主流的JS、Python、Java、Go等运行环境都已原生支持标准Unicode匹配,无需硬编码多语言字符范围,能大幅降低多语言适配的维护成本

内容的提问来源于stack exchange,提问作者Demon.FE

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 12:36:06