UNIX下如何实现管道分隔文件第20列手机号的清洗截取
UNIX管道分隔文件第20列手机号清洗落地方法
以下实现全部基于UNIX原生工具,无需额外安装软件,哪怕是GB级的大业务记录文件也能流畅跑通,可直接覆盖字符过滤、指定列裁剪的核心诉求。
可对齐的处理逻辑
避免处理过程中逻辑跑偏,先把需求拆成可执行的固定步骤:
- 列边界识别:以
|为分隔符,从行首开始计数,第20个拆分后的字段即为目标处理列(注意列号从1开始算,不要和编程语言的0索引混淆) - 第一轮字符过滤:把字段内字符分为三类——字母数字、允许的合规特殊字符、其他无效字符,直接删除第三类内容
- 第二轮内容提取:从第一轮过滤完成的字符串中,移除所有非数字字符,得到纯数字串
- 固定长度裁剪:如果纯数字串长度超过10位,从末尾往前截取10位有效数字;不足10位则保留原长度的数字内容(可根据业务要求调整为前置补0逻辑)
方案1:awk流式处理(推荐,大文件首选)
awk天生适配结构化分隔文本的处理场景,逐行读入、逐行输出,内存占用极低,哪怕10GB以上的大文件也不会卡顿,还支持自定义合规特殊字符白名单。
可直接执行的命令如下,原文件为business_records.txt,清洗结果输出到cleaned_records.txt:
awk -F'|' ' BEGIN { # 可根据业务调整合规特殊字符范围,默认保留+、-、(、)、.、空格 ALLOWED_SPECIAL = " +-()." # 输出分隔符和输入保持一致,避免破坏原文件结构 OFS = "|" } { # 取出原始第20列内容 raw_val = $20 pass1_val = "" # 逐字符完成第一轮白名单过滤 for (i=1; i<=length(raw_val); i++) { char = substr(raw_val, i, 1) if (char ~ /[a-zA-Z0-9]/ || index(ALLOWED_SPECIAL, char) > 0) { pass1_val = pass1_val char } } # 第二轮提取纯数字,删除所有非数字内容 gsub(/[^0-9]/, "", pass1_val) # 裁剪得到末尾10位有效数字 if (length(pass1_val) > 10) { final_val = substr(pass1_val, length(pass1_val) - 9, 10) } else { final_val = pass1_val } # 将处理好的列值写回原字段位置 $20 = final_val print }' business_records.txt > cleaned_records.txt
使用时的注意要点:
- 合规特殊字符的范围可按需调整,比如不需要保留空格,直接删掉
ALLOWED_SPECIAL赋值内容开头的空格即可 - 遇到列数不足20的异常行,awk会自动把第20列识别为空值处理,不会中断整个任务,跑完可通过
awk -F'|' 'NF<20 {print NR": "$0}' business_records.txt把异常行筛出来单独修复 - 处理完必须做结构校验:对比原文件和清洗后文件的列数分布,避免误把列内容替换成分隔符,可执行
awk -F'|' '{print NF}' cleaned_records.txt | sort | uniq -c确认列数和原文件一致
方案2:快速简化实现(规则简单场景用)
如果不需要做第一轮特殊字符白名单过滤,只要把第20列的非数字内容全删掉、保留末尾10位数字,可以用更短的sed命令快速处理:
# 适配数据质量较好、列内无嵌套分隔符的场景 sed -E 's/^(([^|]*\|){19})([^|]*)(\|.*)$/ \1\2\3\4/; s/^(([^|]*\|){19})[^|]*\|/ \1/ { # 对捕获到的第20列内容做清洗 s/[^0-9]//g s/^.*(..........)$/\1/ } |/' business_records.txt > cleaned_records.txt
该方法局限性较明显:如果脏数据的第20列本身包含|字符,正则匹配会错位识别列边界,可靠性不如awk版本,仅适合数据质量稳定的场景。
实操小提醒:处理几个GB以上的大文件时,不要用带GUI的文本编辑器直接打开,很容易因内存溢出崩溃,用上述流式命令处理的速度比GUI工具快几十倍。
内容的提问来源于stack exchange,提问作者Raj
相关产品推荐
相关产品推荐

