如何拆分印度非英语语言字符串以获取完整表意字符？

这个问题确实踩中了很多开发者处理非英语Unicode字符串的坑——印地语这类印度语言属于元音附标文字，字符常由辅音核心加附属元音符号组合而成，而普通的split('')是按UTF-16代码单元拆分的，完全识别不了这些组合后的完整表意单元。

原生解决方案：使用Intl.Segmenter API #

ES2022引入的Intl.Segmenter是专门用来处理文本分割的原生API，它能准确识别不同语言的表意字符（grapheme cluster），完美解决你的需求：

const hindiText = "कमाल";
// 初始化印地语的grapheme分割器
const segmenter = new Intl.Segmenter('hi', { granularity: 'grapheme' });
// 转换为数组得到拆分后的完整表意字符
const splitResult = Array.from(segmenter.segment(hindiText), seg => seg.segment);

console.log(splitResult); // 输出 ["क", "मा", "ल"]

这个API的优势在于完全原生，不需要额外依赖，而且会根据指定的语言（这里是'hi'对应印地语）适配特定的文本分割规则，比通用方法更准确。

兼容旧环境方案：第三方库grapheme-splitter #

如果你的项目需要兼容不支持Intl.Segmenter的旧环境，可以使用成熟的第三方库grapheme-splitter：

// 先通过npm安装：npm install grapheme-splitter
const GraphemeSplitter = require('grapheme-splitter');

const splitter = new GraphemeSplitter();
const hindiText = "कमाल";
const splitResult = splitter.splitGraphemes(hindiText);

console.log(splitResult); // 同样输出 ["क", "मा", "ल"]

原理补充 #

你遇到的问题本质是：印地语中的"मा"是由两个Unicode码点组成的grapheme簇——辅音"म"（U+092E）和元音符号"ा"（U+093E），它们组合在一起才是一个完整的表意单元。而split('')会把每个码点单独拆分，所以得到了不符合预期的结果。上面的两种方法都是基于Unicode grapheme分割标准，能正确识别这些组合单元。

内容的提问来源于stack exchange，提问作者Aditya DS