如何在dsbulk unload命令中使用SQL select语句仅导出近12个月数据

你可以通过dsbulk的--query参数传入自定义CQL查询语句，替换默认的全表扫描导出逻辑，实现时间范围过滤。

注意：你原命令中-t参数指定的表名是crawlsiteidentifiedpages，和你提到的要导出的orderhistory表不一致，执行前请先修正表名。

首先确认orderhistory表中存储订单生成时间的字段名（常见命名为order_time/create_time/created_at，下文示例以order_time为例，替换为你表中实际的时间字段名即可），修改后的导出命令如下：

dsbulk unload -k customer_data -h '172.xx.xx.xxx' \
  -c json -url data/json/customer_data/orderhistory/data \
  --query "SELECT * FROM customer_data.orderhistory WHERE order_time >= toTimestamp(now()) - 31536000000 ALLOW FILTERING"

关键说明 #

• 时间自动计算逻辑：命令中toTimestamp(now())会动态获取执行命令时的当前时间戳，减去31536000000（即365天对应的毫秒数，约等于12个月），不需要每次执行前手动修改时间阈值，每次运行都会自动筛选近12个月的数据。如果你的时间字段是date类型，可以把条件替换为order_time >= currentDate() - 365d。
• 性能注意事项：如果order_time是orderhistory表的分区键，或者表的分区设计本身是按时间维度拆分的，可以去掉语句末尾的ALLOW FILTERING，此时导出会直接命中对应时间范围的分区，不会触发全表扫描，导出效率极高；如果时间字段是普通非分区/非聚类列，必须保留ALLOW FILTERING才能执行范围查询，这种情况建议在业务低峰期运行导出任务，避免占用过多数据库资源影响线上业务。
• 前置校验建议：正式执行导出前，先把查询语句复制到cqlsh中执行，确认返回的结果时间范围、数据量符合预期，避免字段名写错、时间计算逻辑错误导致导出数据不符合要求。

内容的提问来源于stack exchange，提问作者Rahul Diggi