如何在Kdb中无需指定数据类型自动读取CSV并识别列类型？

问题分析 #

你用100#"*"强制所有列按字符串类型读取，所以结果全为字符串。Kdb本身没有像Pandas的read_csv那样内置的自动类型推断功能，但可以通过采样+自定义类型推断的方式实现类似效果。

实现步骤 #

1. 读取样本数据 #

先读取CSV的前N行（比如100行）作为样本，用于推断每列的类型：

// 读取前100行，默认按字符串解析所有列
sample: (enlist ",") 0: 100#`:a.csv

如果CSV包含表头，需跳过表头后再读样本：

// 跳过第一行表头，读取后续100行作为样本
sample: (enlist ",") 0: 100#1_`:a.csv

2. 自定义类型推断函数 #

根据样本列的内容，编写函数判断该列对应的Kdb类型。以下是基础版推断逻辑，可根据你的数据格式扩展：

inferType: {
    // 过滤空值，避免空字符串干扰类型判断
    nonNullRows: where x <> "";
    if[count nonNullRows = 0; return "*"];  // 全空列保留字符串类型
    sampleVals: x[nonNullRows];

    // 判断整数/浮点数
    if[all sampleVals like "-0123456789.";
        if[all sampleVals like "-0123456789"; return "J"];  // 长整型
        return "F"  // 浮点型
    ];
    // 判断日期（YYYY-MM-DD格式）
    if[all sampleVals like "####-##-##"; return "D"];
    // 判断纳秒时间（HH:MM:SS.sss格式）
    if[all sampleVals like "##:##:##.###"; return "n"];
    // 判断布尔值（支持true/false、1/0等常见格式）
    if[all sampleVals in ("true";"false";"True";"False";"1";"0"); return "B"];

    // 未匹配到以上类型时，默认返回字符串类型
    "*"
}

3. 生成类型列表并读取全量数据 #

对样本的每一列应用推断函数，得到完整的类型列表，再用该列表读取整个CSV文件：

// 转置样本后对每列应用推断函数，生成类型列表
fntp: inferType each flip sample
// 使用推断出的类型读取全量数据
data: (fntp; enlist ",") 0: `:a.csv

扩展说明 #

• 可以根据实际数据格式，扩展推断函数的逻辑，比如支持时间戳（"P"类型）、UUID等特殊格式。
• 若样本中存在少量异常值（比如某数字列偶尔出现字符串），可调整推断逻辑，比如通过统计占比判断主流类型。

内容的提问来源于stack exchange，提问作者sevenmiracle