You need to enable JavaScript to run this app. 使用awk或sed为管道分隔文件追加DATE列时出现新增行的异常问题
优惠活动
大模型
产品
解决方案
定价
更多

使用awk或sed为管道分隔文件追加DATE列时出现新增行的异常问题

问题根源

之前两次操作出现的错位现象,核心原因有两个:

  • 原始输入文件是Windows格式(CRLF)换行,每行末尾藏了不可见的回车控制符\r。当你在行尾追加内容时,\r会把光标强制拉回当前行开头位置,后追加的文本就会叠在行头的空白区域,视觉上完全像是跑到了独立新行的第二列位置。
  • 原sed命令后续接的column -s '|' -t会自动对所有列做宽度对齐、补全前导空格,进一步放大了错位的视觉效果,让追加的内容看起来完全不属于原来的行。

另外原代码里拼的日期格式是年-月-日(比如2021-02-01),和你要求的日-月-年(DD-MM-YY)格式有差异,需要同步调整。

修正后的可直接复用代码

优化版awk实现

代码内自动清理行尾残留的回车符,按要求组装日期格式后追加列:

for y in 2021; do
  for m in 02; do
    for d in 01; do
      # 按DD-MM-YY格式生成目标日期
      target_date="${d}-${m}-${y:2:2}"
      awk -v col_head="DATE" -v col_value="$target_date" -F"|" '
        # 逐行清理末尾的回车符,避免光标跳行
        { sub(/\r$/, "") }
        BEGIN { OFS = "|" }
        # 首行追加表头
        FNR == 1 { $(NF+1) = col_head; print; next }
        # 数据行追加统一日期值
        { $(NF+1) = col_value; print }
      ' Corporate_bond_mstr-${y}-${m}-${d}.txt > check.txt
    done
  done
done

优化版sed实现

去掉多余的格式转换规则和column管道,同步处理回车问题:

for y in 2021; do
  for m in 02; do
    for d in 01; do
      target_date="${d}-${m}-${y:2:2}"
      # 先清除所有行尾回车,再按行追加分隔符和对应内容
      sed -e 's/\r$//' \
          -e '1s/$/|DATE/' \
          -e "2,\$s/$/|${target_date}/" \
      Corporate_bond_mstr-${y}-${m}-${d}.txt > changed_${y}-${m}-${d}.csv
    done
  done
done
验证方式

执行完代码后,可以用cat -A check.txt检查文件内容:

  • 如果看到行尾是$标记,说明没有回车残留,不会出现跳行
  • 如果看到行尾是^M$标记,说明回车没有清理干净,会再次出现错位

按照修正后的代码执行,输出就会完全匹配预期格式,表头和日期值都会接在原每行的末尾,不会跑到独立新行里。

内容的提问来源于stack exchange,提问作者AndyP

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 19:15:00