如何快速匹配DESC开头行末尾单词并导出对应PATH与DESC行对
性能瓶颈说明
原有while read循环运行慢的核心原因是:每处理一对PATH/DESC行,都会额外调用awk、grep两个外部进程,长文本下高频创建进程的开销远大于文本处理本身的耗时,同时原脚本还存在语法错误(如${FILE1)的右括号误用)、变量未加双引号导致空格路径拆分的问题。
高效实现方案
方案1:纯Shell内置优化(无外部进程调用)
直接用Shell原生参数扩展、内置正则匹配替换外部进程,改造后的代码:
DIR="c:/all movies/" FILE1="${DIR}/movies_GE.txt" FILE2="${DIR}/movies_EN.txt" # 写入文件头 echo "MOVIES GERMAN" > "$FILE1" echo "MOVIES ENGLISH" > "$FILE2" # 保留原行内容读取,避免空格/转义丢失 while IFS= read -r LINE1; do # 匹配PATH开头行 if [[ "$LINE1" == PATH:* ]]; then IFS= read -r LINE2 # 匹配DESC开头行 if [[ "$LINE2" == DESC:* ]]; then # 内置参数扩展直接取DESC行最后一个空格后的内容(即末尾单词) LASTWORD="${LINE2##* }" # 内置大小写不敏感匹配,无需调用grep if [[ "$LASTWORD" =~ [Gg]erman ]]; then echo "$LINE1" >> "$FILE1" echo "$LINE2" >> "$FILE1" elif [[ "$LASTWORD" =~ [Ee]nglish ]]; then echo "$LINE1" >> "$FILE2" echo "$LINE2" >> "$FILE2" fi fi fi done < "${DIR}/all movies/movies_ALL.txt"
该方案完全没有外部进程调用,性能比原实现提升数十倍。
方案2:AWK单流处理(超大文件最优)
AWK为单进程流处理工具,一次遍历即可完成所有匹配、分流写入,百万行级文件也能秒级处理,是该场景的最优选择:
实现代码
BEGIN { # 初始化输出文件,写入固定文件头 print "MOVIES GERMAN" > "c:/all movies/movies_GE.txt" print "MOVIES ENGLISH" > "c:/all movies/movies_EN.txt" } # 匹配PATH行,缓存当前路径值 /^PATH:/ { cur_path = $0; next } # 匹配DESC行,做末尾单词匹配 /^DESC:/ { last_word = $NF # 直接取最后一个字段即末尾单词 # 大小写不敏感匹配德语关键词,输出成对PATH+DESC行到对应文件 if (last_word ~ /German/i) { print cur_path >> "c:/all movies/movies_GE.txt" print $0 >> "c:/all movies/movies_GE.txt" } # 大小写不敏感匹配英语关键词 if (last_word ~ /English/i) { print cur_path >> "c:/all movies/movies_EN.txt" print $0 >> "c:/all movies/movies_EN.txt" } }
运行方式
将上述代码保存为split_movies.awk,执行命令:
awk -f split_movies.awk "c:/all movies/movies_ALL.txt"
方案3:修正后的Sed实现(指定用Sed时可用)
你之前编写的Sed语句存在三个错误:
- 正则中多余加入了双引号,实际行开头不存在双引号
- 正则语法不兼容Sed的BRE/ERE规则
- 仅处理了DESC行,没有关联前一行的PATH行
修正后的Sed实现如下,使用Sed暂存区缓存前一行的PATH内容,DESC行匹配后一同输出:
# 处理德语条目 # 先写入文件头 echo "MOVIES GERMAN" > "c:/all movies/movies_GE.txt" # 提取成对的PATH+DESC行追加到文件 sed -n ' /^PATH:/{ h; next } # 匹配PATH行存入暂存区 /^DESC:.*German$/ { # 匹配DESC行末尾为German的条目 x # 取出暂存区的PATH行 p # 输出PATH行 x # 取回DESC行 p # 输出DESC行 } ' "c:/all movies/movies_ALL.txt" >> "c:/all movies/movies_GE.txt" # 处理英语条目 echo "MOVIES ENGLISH" > "c:/all movies/movies_EN.txt" sed -n ' /^PATH:/{ h; next } /^DESC:.*English$/ { x p x p } ' "c:/all movies/movies_ALL.txt" >> "c:/all movies/movies_EN.txt"
注:该方案需要两次遍历原文件,性能弱于单次遍历的AWK方案,且默认大小写敏感,如需不敏感可在匹配正则前加I参数(部分Sed版本支持)。
内容的提问来源于stack exchange,提问作者ni_hao
相关产品推荐
相关产品推荐

