使用DSBulk加载Cassandra数据时，元组的正确CSV格式是什么？

问题原因 #

• 解析引擎差异：Cassandra自带的COPY FROM命令使用CQL字面量解析器处理复杂类型，而DSBulk默认采用JSON解析器解析Map。JSON语法要求键必须是字符串，且不识别Cassandra的元组格式（如[1,2]或(1,2)），直接导致解析报错。
• CSV结构破坏：当CSV中包含未正确转义的双引号时，DSBulk会错误拆分字段，抛出"期望4个字段但找到5个"的异常——未转义的双引号被误判为字段分隔标志，破坏了CSV的字段结构。

解决方法 #

方法一：强制DSBulk使用CQL字面量解析（推荐） #

通过指定字段的解析格式为[CQL]，让DSBulk和COPY FROM使用相同的解析规则，无需修改原有CSV格式：
修改DSBulk命令，添加字段映射参数：

dsbulk load -url <csv path> -k <keyspace> -t <table> -h <host> -u <user> -p <password> -header true -cl LOCAL_QUORUM --schema.mapping "userid=:userid, birth_year=:birth_year, created_at=:created_at, freq=:freq[CQL]"

CSV中的freq值保持为{1234:{[1, 2]: 1}}即可，与COPY FROM兼容格式完全一致。

方法二：调整CSV格式适配JSON解析 #

若必须使用JSON解析，需同时满足JSON语法和CSV转义规则：

1. 将Map的所有键转为合法JSON字符串，元组键采用Cassandra存储格式(1,2)并添加引号；
2. CSV中用两个双引号转义内部双引号，同时将整个freq字段用双引号包裹。
   示例CSV内容：

userid,birth_year,created_at,freq
1234,1990,2023-01-13T23:27:15.563Z,"{""1234"":{""(1,2)"":1}}"

使用原有DSBulk命令即可完成加载，无需额外参数。

内容的提问来源于stack exchange，提问作者Senthil