AsterixDB导入含空值CSV时跳过整行的原因及解决方法

问题原因 #

• 你未给delimited-text格式解析器配置空值识别规则，默认逻辑下，行尾的空字段会被判定为「字段数与定义类型不匹配」的非法行，在类型映射前就被解析器直接丢弃，不会进入入库流程。
• 虽然你已经在csv_type定义中给long字段加了?标记为可空字段，但这个配置仅在解析器识别到对应位置存在合法null值时生效，空字段没有被提前解析为null的前提下，类型可空配置不会触发。
• 你举例的test1,1,行，默认解析逻辑会判定该行仅包含2个有效字段，和定义的3字段结构不匹配，因此被跳过。

修复方法 #

在加载数据集的配置中追加null-string参数，显式告诉解析器空字符串对应null值即可，修正后的完整执行代码如下：

drop dataverse csv if exists;
create dataverse csv;
use csv;

create type csv_type as {
    Cross_Street: string,
    lat: int32,
    long: int32?
};

create dataset csv_set (csv_type)
  primary key lat;

load dataset csv_set using localfs
    (("path"="127.0.0.1:///Users/nicholassantini/Downloads/test 2.csv"),
     ("format"="delimited-text"),
     ("delimiter"=","),
     ("null-string"="") -- 核心配置：将空字符串识别为null
    );

SELECT * FROM csv_set csv_type;

注意事项 #

• 如果你的CSV空字段位置存在冗余空格（比如行内容为test1,1, ，最后一个逗号后带空格再换行），要么将null-string参数值改为对应长度的空格字符串，要么先预处理CSV移除空字段内的冗余空格，否则解析器会将带空格的内容尝试转换为int32类型失败，依然会跳过该行。
• 如果你的CSV文件包含表头行，需要额外在加载参数中添加("has-header"="true")，避免表头行被识别为数据行解析失败。

内容的提问来源于stack exchange，提问作者Nick S