如何基于CSV第三列年份字段,用Shell工具实现行式数据转按年份排列的列格式?
两种可直接落地的实现方案
你最初想到的「临时文件+paste」方案完全可行,甚至是对新手最友好的实现路径,另外也可以写无硬编码判断的泛化awk脚本,彻底解决之前思路的两个核心缺陷(大量前置空行、需要逐年份写分支判断)。
方案一:泛化纯awk实现(无需逐年份写if判断)
之前awk思路的核心问题是顺着原始CSV的行号做输出,才会出现其他年份列的前置空行——实际上每个年份的条目只需要在自己的列范围内,按条目出现的顺序从第一行开始依次排列,和原始文件的行号没有关系。
对应的awk脚本完全不需要硬编码每个年份的判断逻辑,整体逻辑是:
- 遍历原始文件时跳过表头,把每一年的ID、投票值单独存到对应年份的数组里,同个年份的第1个条目、第2个条目依次对应输出文件的第1行、第2行位置
- 自动收集所有出现过的年份,按从小到大排序,通过公式自动计算每个年份对应的列位置:1999年后的年份N,对应ID在第
2*(N-1999)-1列、投票值在第2*(N-1999)列,全程不需要手动写分支判断 - 统计所有年份里最多的条目行数,作为输出的总循环行数,按列位置填充内容,没有数据的单元格自动填空,最终输出的结构完全匹配要求的格式
适配示例文件的脚本如下:
BEGIN { FS = ","; OFS = ","; } # 跳过表头行 NR == 1 { next } { year = $3 + 0; id = $1 + 0; vote = $4 + 0; # 记录对应年份的条目计数,把值存到对应行位置 row_idx[year]++; id_map[year, row_idx[year]] = id; vote_map[year, row_idx[year]] = vote; # 记录首次出现的年份 if (!(year in year_seen)) { year_seen[year] = 1; year_list[++year_count] = year; } } END { # 对收集到的年份做升序排序 n = asort(year_list); max_row = 0; for (i=1; i<=n; i++) { y = year_list[i]; # 按规则计算每个年份对应的列位置 col_id[y] = 2*(y-1999)-1; col_vote[y] = 2*(y-1999); # 统计所有年份的最大条目数,作为输出总览的行数 if (row_idx[y] > max_row) max_row = row_idx[y]; # 生成对应位置的表头内容 header[col_id[y]] = y " IDS"; header[col_vote[y]] = " VOTE"; } # 计算需要输出的总列数 max_col = 2*(year_list[n] - 1999); # 输出表头行 for (c=1; c<=max_col; c++) { printf "%s%s", header[c], (c==max_col?"\n":OFS); } # 逐行输出数据 for (r=1; r<=max_row; r++) { for (c=1; c<=max_col; c++) { val = " "; # 遍历所有年份,匹配当前列需要填充的值 for (i=1; i<=n; i++) { y = year_list[i]; if (col_id[y] == c) val = (id_map[y, r]? id_map[y,r] : " "); if (col_vote[y] == c) val = (vote_map[y, r]? vote_map[y,r] : " "); } printf "%s%s", val, (c==max_col?"\n":OFS); } } }
这个脚本跑示例文件的输出和要求的格式完全一致,不管数据跨度多少年份都不需要修改代码,自动适配所有1999年后的年份。
方案二:临时文件+paste实现(匹配你最初的思路)
你考虑的paste拼接方案不仅可行,而且逻辑简单、排查问题方便,完全可以解决之前awk思路的缺陷,操作步骤是:
- 先遍历原始文件,按年份拆分内容到独立的临时文件:每个临时文件里只存对应年份的ID、投票值,每行格式为
ID,VOTE,所有条目从临时文件的第一行开始依次存放,完全没有前置空行 - 对没有数据的年份,生成和最大行数对齐的占位空文件,每行内容为
", ",保证所有临时文件的行数一致 - 按年份从小到大的顺序,把所有临时文件作为参数传给
paste命令,paste会自动把每个文件的同一行拼接对齐,短的行自动补空,不需要手动调整空格 - 循环生成对应的表头行,拼接在最终输出的最前面即可
这个方法的优势是不需要写复杂的循环逻辑,哪怕年份跨度到20年以上,只要通过简单的循环命令生成临时文件,最终用一次paste就能拼好结果,和你一开始的设想完全匹配。之前担心的「大量前置空行」问题,只要保证每个临时文件的内容是从第一行开始存自己的条目,就根本不会出现。
内容的提问来源于stack exchange,提问作者Ludi
相关产品推荐
相关产品推荐

