在kdb+ Q语言中将表格指定列转换为行

原始表格定义 #

tab: ([] ID: `1A`1B`1C; OriginalDate: 2024.01.01 2024.01.02 2024.01.03; PreviousDate: 2023.04.04 2023.02.20 2023.12.31; NextDate: 2024.03.01 2024.05.01 2024.02.01)

最优实现方法（向量式操作） #

利用kdb+内置的ungroup函数，结合列转换是性能最优的方案——完全基于向量批量运算，避免逐行处理的开销：

// 第一步：将PreviousDate和NextDate合并为每行的日期列表列
tempTab: update Dates: (PreviousDate; NextDate) from tab;
// 第二步：展开列表列并整理目标字段
newTab: select Date: Dates, ID, OriginalDate from ungroup tempTab;

执行后newTab结构完全符合需求。

性能对比：为什么不推荐逐行flip？ #

你考虑的flip逐行处理方案（如下）虽能实现功能，但大数据量下性能差距明显：

// 逐行处理方案（不推荐）
newTab: raze flip each flip tab[`ID`OriginalDate`PreviousDate`NextDate]

原因是each会遍历表格每一行单独处理，而kdb+的核心优势是向量批量运算。ungroup是专门为展开列表列场景优化的内置函数，在百万行级别的数据量下，向量式方法的处理速度会是逐行方法的数倍甚至数十倍。

更简洁的向量式写法 #

也可以用一行代码完成，直接合并日期列并展开关联字段，性能和ungroup方案接近：

newTab: ([] Date: raze tab[`PreviousDate`NextDate]; ID: raze enlist each tab[`ID]; OriginalDate: raze enlist each tab[`OriginalDate])

内容的提问来源于stack exchange，提问作者mmv456