Unix脚本问题:为文件指定行添加N个竖线并修改源文件
解决方案:修改源文件并避免给表尾添加竖线
没问题,刚接触Unix命令遇到这些小坑很正常,我来帮你一步步解决这两个问题:
问题1:如何修改源文件?
你当前的sed命令只是把修改后的内容输出到标准输出(也就是你在Hive里看到的效果),并没有直接修改源文件。要让sed直接修改原文件,需要加上-i参数(in-place编辑),这是GNU sed(大部分Linux服务器默认使用的版本)的用法。如果是BSD系统(比如macOS)的sed,需要写成-i '',不过你用WinSCP连接的应该是Linux服务器,所以用-i就可以。
问题2:如何避免给表尾行添加竖线?
你原来的范围2,$会匹配第2行到最后一行(也就是表尾行),我们需要把范围改成第2行到倒数第2行。这里有两种可靠的实现方式:
方式一:用GNU sed的扩展语法(推荐,更简洁)
GNU sed支持用$-1表示倒数第二行,所以直接把范围写成2,$-1即可。如果需要添加N个竖线,把|换成对应数量的竖线就行(比如N=3就写|||)。
方式二:先获取总行数再计算结束行(兼容所有sed版本)
如果你的环境里sed不支持$-1语法,可以先通过wc -l获取文件的总行数,再计算出倒数第二行的行号,然后传给sed:
total_lines=$(wc -l < "$file") end_line=$((total_lines - 1)) sed -i -e "2,${end_line}s/$/|||/" "$file"
完整批量处理脚本示例
如果要一次性处理所有xxxx.txt.date格式的文件,可以写一个循环脚本:
# 遍历所有符合命名格式的文件 for file in *.txt.date; do # 跳过不是普通文件的条目(比如目录) [ -f "$file" ] || continue # 方式一:GNU sed简洁写法(添加3个竖线,按需修改数量) sed -i -e '2,$-1s/$/|||/' "$file" # 若使用不支持$-1的sed,注释上面一行,启用下面的方式二: # total_lines=$(wc -l < "$file") # end_line=$((total_lines - 1)) # sed -i -e "2,${end_line}s/$/|||/" "$file" done
小提示:执行脚本前,建议先复制一两个测试文件,用脚本测试效果,确认无误后再批量处理所有文件哦!
内容的提问来源于stack exchange,提问作者amitesh
相关产品推荐
相关产品推荐

