使用awk或sed为管道分隔文件追加DATE列时出现新增行的异常问题
问题根源
之前两次操作出现的错位现象,核心原因有两个:
- 原始输入文件是Windows格式(CRLF)换行,每行末尾藏了不可见的回车控制符
\r。当你在行尾追加内容时,\r会把光标强制拉回当前行开头位置,后追加的文本就会叠在行头的空白区域,视觉上完全像是跑到了独立新行的第二列位置。 - 原sed命令后续接的
column -s '|' -t会自动对所有列做宽度对齐、补全前导空格,进一步放大了错位的视觉效果,让追加的内容看起来完全不属于原来的行。
另外原代码里拼的日期格式是年-月-日(比如2021-02-01),和你要求的日-月-年(DD-MM-YY)格式有差异,需要同步调整。
修正后的可直接复用代码
优化版awk实现
代码内自动清理行尾残留的回车符,按要求组装日期格式后追加列:
for y in 2021; do for m in 02; do for d in 01; do # 按DD-MM-YY格式生成目标日期 target_date="${d}-${m}-${y:2:2}" awk -v col_head="DATE" -v col_value="$target_date" -F"|" ' # 逐行清理末尾的回车符,避免光标跳行 { sub(/\r$/, "") } BEGIN { OFS = "|" } # 首行追加表头 FNR == 1 { $(NF+1) = col_head; print; next } # 数据行追加统一日期值 { $(NF+1) = col_value; print } ' Corporate_bond_mstr-${y}-${m}-${d}.txt > check.txt done done done
优化版sed实现
去掉多余的格式转换规则和column管道,同步处理回车问题:
for y in 2021; do for m in 02; do for d in 01; do target_date="${d}-${m}-${y:2:2}" # 先清除所有行尾回车,再按行追加分隔符和对应内容 sed -e 's/\r$//' \ -e '1s/$/|DATE/' \ -e "2,\$s/$/|${target_date}/" \ Corporate_bond_mstr-${y}-${m}-${d}.txt > changed_${y}-${m}-${d}.csv done done done
验证方式
执行完代码后,可以用cat -A check.txt检查文件内容:
- 如果看到行尾是
$标记,说明没有回车残留,不会出现跳行 - 如果看到行尾是
^M$标记,说明回车没有清理干净,会再次出现错位
按照修正后的代码执行,输出就会完全匹配预期格式,表头和日期值都会接在原每行的末尾,不会跑到独立新行里。
内容的提问来源于stack exchange,提问作者AndyP
相关产品推荐
相关产品推荐

