如何解析分隔符不一致的企业名称与地址数据？

核心思路：规则兜底+弱监督学习结合 #

纯正则或简单换行分割搞不定这类跨20年、多人输入的非结构化数据，得用规则过滤基础模式+机器学习补漏模糊场景的组合方式推进，具体步骤如下：

1. 先梳理通用规则，过滤可明确的模式 #

先提取能确定的格式特征，减少后续模型的处理压力：

• 企业名称识别：抓住常见后缀（Co., Ltd.、Limited、Company Ltd.、Int'l Co., Limited等）作为名称结束标记；同时用分号;、破折号—这类分隔符拆分同一记录里的多个企业名称（比如示例中Tenco系列的多个关联公司）。
• 地址识别：锁定地址专属关键词（街道Street/Road、乡镇Township/Ward、区District、邮编P.O. Box/数字邮编、房间号Room/Flat等）作为地址起始标记；用;、and这类连接符拆分同一企业下的多个地址（比如Narinco的两个迪拜地址）。

2. 用命名实体识别（NER）工具处理模糊场景 #

针对规则覆盖不到的特殊格式，用实体识别工具做精准提取：

• 选用spaCy、HanLP这类支持多语言的开源NER工具，先加载预训练模型覆盖基础实体识别；
• 手动标注100-200条典型复杂数据（比如示例里的多名称多地址条目），标注出ORG（企业名称）和LOC/GPE（地址实体），用这些数据微调模型，让它适配你数据里的区域命名习惯（比如缅甸、越南、香港的地址表述）。

3. 批量处理后人工校验+迭代优化 #

历史数据必然存在极端特殊情况，需要人工介入补漏：

• 对批量处理结果抽样校验，把错判案例补充到规则库或训练数据里，逐步提升准确率；
• 同一ID下的多名称/地址，拆分后按需去重（比如Tenco的两个深圳地址可能是同一办公点的不同表述），再存入对应独立字段（可根据数据库类型设计数组或多行列存储结构）。

示例数据的具体处理参考 #

以最后一条Tenco的记录为例：

• 拆分出的企业名称：Tenco Technology Company Ltd.、Redd Forest Technology Company Limited、Shenzhen Shengfaweiye Electronic Co., Ltd.、Shenzhen Tenco Technology Co., Ltd.、Tenco International Co., Ltd.
• 拆分出的地址：Room 2709, Block A, Jiahe Huaqiang Building, Shennan Middle Rd., F Shenzhen, Guangdong 518007, China、Room 2709, Block A, Jiahe Building, Shennan Mid Road, Futian District, Shenzhen, 518000, China、Room 311 3F Genplas Industrial Building, 56 Hoi Yuen Road, Kwun Kowloon, Hong Kong等

关键提醒 #

不要强求100%自动化，这类历史非结构化数据的解析必然需要人工介入补漏；优先保证核心字段的准确率，极端特殊条目单独处理即可。

内容的提问来源于stack exchange，提问作者R Johnson