Debian9环境下sed命令无法删除CSV文件中匹配GUID的行如何解决
故障原因
- 换行符格式不匹配:t2.txt为Windows CRLF换行格式,每行末尾带有不可见的
\r回车符,使用read读取存入testing变量时,该字符也会被包含在内。你在ps中看到的GUID后的?就是\r的转义显示结果,sed匹配时会把这个多余字符纳入匹配规则,而ndp.CSV中的行不存在该字符,自然匹配失败无法删除对应行。 - 原脚本执行效率极低:循环逐行调用
sed -i,每处理一个GUID就要重写整个ndp.CSV文件,若GUID数量多、CSV文件体积大,会产生极高的磁盘IO开销,甚至可能出现文件读写异常。
解决方案
- 首先修正t2.txt的换行格式为Unix LF格式:
可以先安装dos2unix工具完成转换:
不想安装额外工具也可以直接用sed清除行尾的apt update && apt install -y dos2unix dos2unix t2.txt\r:sed -i 's/\r$//' t2.txt - 替换原有循环脚本,使用一次性处理方案,大幅提升执行效率:
直接用grep完成批量排除匹配,仅需读写文件各一次:
参数说明:grep -vFf t2.txt /home/bbelden/ndp.CSV > /home/bbelden/ndp_new.CSV && mv /home/bbelden/ndp_new.CSV /home/bbelden/ndp.CSV-F:将匹配内容视为固定字符串,不会识别正则特殊字符,避免GUID中特殊字符导致的匹配异常-f t2.txt:从t2.txt中读取所有待匹配的GUID规则-v:反向匹配,仅输出不包含任意待删GUID的行
内容的提问来源于stack exchange,提问作者bbelden
相关产品推荐
相关产品推荐

