You need to enable JavaScript to run this app. 如何快速匹配DESC开头行末尾单词并导出对应PATH与DESC行对
优惠活动
大模型
产品
解决方案
定价
更多

如何快速匹配DESC开头行末尾单词并导出对应PATH与DESC行对

性能瓶颈说明

原有while read循环运行慢的核心原因是:每处理一对PATH/DESC行,都会额外调用awk、grep两个外部进程,长文本下高频创建进程的开销远大于文本处理本身的耗时,同时原脚本还存在语法错误(如${FILE1)的右括号误用)、变量未加双引号导致空格路径拆分的问题。

高效实现方案

方案1:纯Shell内置优化(无外部进程调用)

直接用Shell原生参数扩展、内置正则匹配替换外部进程,改造后的代码:

DIR="c:/all movies/"
FILE1="${DIR}/movies_GE.txt"
FILE2="${DIR}/movies_EN.txt"
# 写入文件头
echo "MOVIES GERMAN" > "$FILE1"
echo "MOVIES ENGLISH" > "$FILE2"

# 保留原行内容读取,避免空格/转义丢失
while IFS= read -r LINE1; do
  # 匹配PATH开头行
  if [[ "$LINE1" == PATH:* ]]; then
    IFS= read -r LINE2
    # 匹配DESC开头行
    if [[ "$LINE2" == DESC:* ]]; then
      # 内置参数扩展直接取DESC行最后一个空格后的内容(即末尾单词)
      LASTWORD="${LINE2##* }"
      # 内置大小写不敏感匹配,无需调用grep
      if [[ "$LASTWORD" =~ [Gg]erman ]]; then
        echo "$LINE1" >> "$FILE1"
        echo "$LINE2" >> "$FILE1"
      elif [[ "$LASTWORD" =~ [Ee]nglish ]]; then
        echo "$LINE1" >> "$FILE2"
        echo "$LINE2" >> "$FILE2"
      fi
    fi
  fi
done < "${DIR}/all movies/movies_ALL.txt"

该方案完全没有外部进程调用,性能比原实现提升数十倍。

方案2:AWK单流处理(超大文件最优)

AWK为单进程流处理工具,一次遍历即可完成所有匹配、分流写入,百万行级文件也能秒级处理,是该场景的最优选择:

实现代码

BEGIN {
  # 初始化输出文件,写入固定文件头
  print "MOVIES GERMAN" > "c:/all movies/movies_GE.txt"
  print "MOVIES ENGLISH" > "c:/all movies/movies_EN.txt"
}
# 匹配PATH行,缓存当前路径值
/^PATH:/ { cur_path = $0; next }
# 匹配DESC行,做末尾单词匹配
/^DESC:/ {
  last_word = $NF # 直接取最后一个字段即末尾单词
  # 大小写不敏感匹配德语关键词,输出成对PATH+DESC行到对应文件
  if (last_word ~ /German/i) {
    print cur_path >> "c:/all movies/movies_GE.txt"
    print $0 >> "c:/all movies/movies_GE.txt"
  }
  # 大小写不敏感匹配英语关键词
  if (last_word ~ /English/i) {
    print cur_path >> "c:/all movies/movies_EN.txt"
    print $0 >> "c:/all movies/movies_EN.txt"
  }
}

运行方式

将上述代码保存为split_movies.awk,执行命令:

awk -f split_movies.awk "c:/all movies/movies_ALL.txt"

方案3:修正后的Sed实现(指定用Sed时可用)

你之前编写的Sed语句存在三个错误:

  • 正则中多余加入了双引号,实际行开头不存在双引号
  • 正则语法不兼容Sed的BRE/ERE规则
  • 仅处理了DESC行,没有关联前一行的PATH行
    修正后的Sed实现如下,使用Sed暂存区缓存前一行的PATH内容,DESC行匹配后一同输出:
# 处理德语条目
# 先写入文件头
echo "MOVIES GERMAN" > "c:/all movies/movies_GE.txt"
# 提取成对的PATH+DESC行追加到文件
sed -n '
/^PATH:/{ h; next } # 匹配PATH行存入暂存区
/^DESC:.*German$/ { # 匹配DESC行末尾为German的条目
  x # 取出暂存区的PATH行
  p # 输出PATH行
  x # 取回DESC行
  p # 输出DESC行
}
' "c:/all movies/movies_ALL.txt" >> "c:/all movies/movies_GE.txt"

# 处理英语条目
echo "MOVIES ENGLISH" > "c:/all movies/movies_EN.txt"
sed -n '
/^PATH:/{ h; next }
/^DESC:.*English$/ {
  x
  p
  x
  p
}
' "c:/all movies/movies_ALL.txt" >> "c:/all movies/movies_EN.txt"

注:该方案需要两次遍历原文件,性能弱于单次遍历的AWK方案,且默认大小写敏感,如需不敏感可在匹配正则前加I参数(部分Sed版本支持)。


内容的提问来源于stack exchange,提问作者ni_hao

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 23:06:04