如何通过Python ORM向Cassandra插入日期类数据并解决序列化问题？

问题核心是类型不匹配：Cassandra的Date类型对应Python标准库的datetime.date对象，DateTime对应datetime.datetime对象；你用datetime.strptime得到的是datetime.datetime，直接赋值给date_query（Date类型）会导致类型冲突，而Pandas的Timestamp对象无法被cqlengine直接序列化，才会抛出JSON序列化错误。

以下是用Pandas处理并插入的正确步骤：

1. 数据类型转换（关键） #

先把Pandas中的字符串日期转成标准库的date/datetime类型：

import pandas as pd

# 假设你的原始数据存在DataFrame中
df = pd.DataFrame({
    "my_partition_key": ["user_001", "user_002"],
    "date": ["2023-02-06", "2023-02-07"],
    "time_str": ["2023-02-06 21:45:00", "2023-02-07 14:20:00"]
})

# 转换date_query为datetime.date（匹配Cassandra Date类型）
df["date_query"] = pd.to_datetime(df["date"]).dt.date

# 转换time_query为datetime.datetime（匹配Cassandra DateTime类型）
df["time_query"] = pd.to_datetime(df["time_str"])

2. 批量插入到Cassandra #

将处理后的DataFrame转为字典列表，用cqlengine的模型批量插入：

from cassandra.cqlengine import connection
from cassandra.cqlengine.management import sync_table
from your_module import MyTable  # 导入你定义的MyTable模型
from cassandra.cqlengine.query import BatchQuery

# 初始化Cassandra连接
connection.setup(["你的Cassandra节点IP"], "你的keyspace名称")
sync_table(MyTable)  # 确保表结构同步

# 生成符合模型字段的记录
records = df[["my_partition_key", "date", "date_query", "time_query"]].to_dict("records")

# 批量插入（数据量大时用BatchQuery优化性能）
with BatchQuery() as batch:
    for record in records:
        MyTable.batch(batch).create(**record)

关键说明 #

• 禁止直接传递Pandas的Timestamp对象给cqlengine模型，必须转成Python标准库的date/datetime；
• date_query必须是datetime.date类型，不能用datetime.datetime，否则会触发类型不兼容的序列化错误；
• 用BatchQuery可以大幅提升大批量数据的插入效率，避免单条插入的性能损耗。

内容的提问来源于stack exchange，提问作者HulkZZH