如何将DataFrame列中附带字母/符号的数字整体替换为NUMBER?
实现数字及附属绑定字符的整体替换
之前的正则\d+仅能匹配连续纯数字,因此会残留数字前后紧贴、和数字属于同一语义单元的符号/单位。要实现目标效果,需要调整正则规则,将无空白分隔、和数字绑定的整段金额/价格/百分比表述整体纳入匹配范围。
正则匹配规则设计
匹配范围需覆盖三类常见场景:
- 带前置货币/符号的数值:比如
$425、-12.3% - 带后置单位/符号的数值:比如
42c.、12%、1.5k - 纯独立数值块
匹配边界要求:整段匹配块前后必须是空白、字符串开头或结尾,避免误把单词中间夹的数字片段错判。
对应的正则模式为:
import re import pandas as pd # 可根据实际语料的附属字符增删括号内的匹配项 NUMBER_PATTERN = r'(?<!\S)[\$€£¥-]?\d+(?:\.\d+)?[%csdkm\.]+(?!\S)|(?<!\S)[\$€£¥-]?\d+(?:\.\d+)?(?!\S)'
实际替换效果
- 测试之前踩坑的单条文本场景:
def repl(x): return re.sub(NUMBER_PATTERN, "NUMBER", x) repl("I made 428c with a 52% increase") # 输出:I made NUMBER with a NUMBER increase
- 直接在pandas DataFrame上批量替换,无需逐行遍历:
df = pd.DataFrame({'id': [1, 2, 3], 'comment': ["I made $425", "I got mine at 42c. per share", "Stocks saw a 12% increase"]}) df['comment'] = df['comment'].str.replace(NUMBER_PATTERN, "NUMBER", regex=True)
替换后comment列的结果完全符合预期:
df['comment'].tolist() # ['I made NUMBER', 'I got mine at NUMBER per share', 'Stocks saw a NUMBER increase']
如果实际语料中存在其他和数字绑定的附属字符(比如shares、pt等单位),直接在正则的匹配字符集合中新增对应字符即可。
内容的提问来源于stack exchange,提问作者Noodles
相关产品推荐
相关产品推荐

