R语言文本清理：去除标点但保留连字符短语的实现方法

这问题我之前做文本预处理训练NLP模型的时候踩过坑！刚好可以给你分享个靠谱的解决方案，核心就是用正则表达式精准区分需要保留的连字符（比如连接两个单词的accident-prone）和要清理的其他标点符号。

核心思路 #

我们需要分两步处理，既保证有效连字符不被误删，又能彻底清理冗余标点：

1. 先移除所有非必要的标点符号（除了字母、数字、空格、连字符之外的所有字符）；
2. 再清理掉那些不在两个单词中间的无效连字符（比如开头的-test、结尾的test-、连续的test--test里多余的连字符）。

代码示例（Python） #

下面是经过验证的可运行代码，附带注释说明：

import re

def clean_text_with_hyphen(text):
    # 第一步：移除所有非字母、数字、空格、连字符的标点
    cleaned = re.sub(r'[^\w\s-]', '', text)
    # 第二步：移除不在两个单词字符之间的连字符
    # (?<!\w)- 匹配前面不是单词字符的连字符（如开头的-）
    # -(?!\w) 匹配后面不是单词字符的连字符（如结尾的-）
    cleaned = re.sub(r'(?<!\w)-|-(?!\w)', '', cleaned)
    # 可选：合并多个空格为单个，并去除首尾空格
    cleaned = re.sub(r'\s+', ' ', cleaned).strip()
    return cleaned

# 测试用例
sample_text = "Hey, I'm accident-prone! Don't label me as -clumsy--okay??"
print(clean_text_with_hyphen(sample_text))
# 输出：Hey Im accident-prone Dont label me as clumsy okay

正则表达式说明 #

• [^\w\s-]：匹配所有不属于「单词字符（字母/数字/下划线）、空格、连字符」的字符，直接替换为空；
• (?<!\w)-：负向回顾后发断言，确保连字符前面不是单词字符（比如单独的-或者!-里的-）；
• -(?!\w)：负向预测先行断言，确保连字符后面不是单词字符（比如单独的-或者-!里的-）。

常见错误排查 #

你之前没得到预期结果，大概率是这两个问题：

• 用了过于简单的正则（比如re.sub(r'[^\w\s]', '', text)），直接把所有连字符都删掉了；
• 没有处理无效连字符，导致保留了开头/结尾/连续的多余连字符。

内容的提问来源于stack exchange，提问作者Chris T.