如何从数据库获取新数据？MongoDB每日增量JSON转CSV咨询

嘿，咱们来一步步拆解你的两个问题的解决方案：

这是数据同步/自动化流程里非常常见的需求，通用的解决方案主要有这几种：

• 依赖时间戳字段：这是最普适的方案，确保每条数据都带有created_at（创建时间）或updated_at（更新时间）字段。每次执行任务时，记录上次执行的时间点，下次只查询时间戳晚于上次执行时间的数据。比如上次任务在昨天23:59执行，这次就拉取created_at > '昨天23:59'的所有新数据。
• 利用自增ID/序列主键：如果数据库的主键是自增类型（比如MySQL的AUTO_INCREMENT、PostgreSQL的SERIAL），可以记录上次同步的最大ID值，下次直接查询ID > 上次最大ID的数据。这种方式比时间戳更精准，不会因为时间同步问题出错，但只适用于有自增主键的场景。
• 维护增量日志表：如果没法用时间戳或自增ID（比如无主键的非结构化数据），可以单独建一张日志表，记录所有数据的新增/更新操作记录，每次同步时从日志表定位需要提取的数据，再去主表拉取详情。
• 变更数据捕获（CDC）：对于大型企业级数据库，比如MySQL的Binlog、PostgreSQL的逻辑复制，或者用Debezium这类工具，可以实时捕获数据库的变更操作（新增、修改、删除），精准获取增量数据，适合实时或准实时的同步场景。

针对你提到的每日生成当日新增数据CSV的需求，咱们可以用MongoDB自带的工具+shell脚本轻松实现，具体步骤如下：

核心前提 #

首先要确保你的MongoDB集合中，每条文档都带有**ISODate类型**的createdAt字段（记录数据创建时间）。如果之前没有这个字段，需要先补全历史数据，并且在写入新数据时强制添加该字段（可以通过MongoDB的Schema验证或者业务代码逻辑实现）。

步骤1：编写增量查询导出脚本 #

用mongoexport工具（MongoDB官方自带，无需额外安装）来导出数据，配合shell脚本自动处理日期和过滤条件。

创建一个名为mongo-daily-export.sh的脚本，内容如下：

#!/bin/bash

# 设置MongoDB连接信息
MONGO_URI="mongodb://your-host:27017/your-database"
COLLECTION_NAME="your-collection"
# 指定要导出的CSV字段（根据你的需求修改）
EXPORT_FIELDS="field1,field2,field3,createdAt"

# 获取前一天的日期（格式：YYYY-MM-DD）
YESTERDAY=$(date -d "yesterday" +%Y-%m-%d)
# 构造MongoDB的日期查询条件（UTC时间）
START_DATE="${YESTERDAY}T00:00:00Z"
END_DATE="${YESTERDAY}T23:59:59Z"

# 执行导出
mongoexport --uri="$MONGO_URI" \
  --collection="$COLLECTION_NAME" \
  --query='{"createdAt": {"$gte": {"$date": "'$START_DATE'"}, "$lte": {"$date": "'$END_DATE'"}}}' \
  --type=csv \
  --fields="$EXPORT_FIELDS" \
  --out="${YESTERDAY}.csv"

# 记录本次执行时间（可选，用于更精准的增量同步）
echo $(date -u +%Y-%m-%dT%H:%M:%SZ) > /path/to/last-run-time.txt

步骤2：设置定时任务 #

用Linux的crontab来实现每日自动执行脚本：

1. 打开crontab编辑界面：crontab -e
2. 添加一行配置，设置每日凌晨1点执行脚本（可以根据你的需求调整时间）：

0 1 * * * /path/to/mongo-daily-export.sh

3. 保存退出即可，系统会自动定时执行。

额外优化建议 #

• 如果你的任务执行时间可能跨天，或者担心时间戳的时区问题，可以改用记录上次执行时间的方式：每次执行脚本时，读取last-run-time.txt里的时间，查询createdAt > 上次执行时间的数据，执行完成后再更新这个文件的时间。这种方式能避免因为时区或执行延迟导致的数据遗漏/重复。
• 如果你的createdAt不是ISODate类型，需要先将字段转换为ISODate，否则日期过滤会失效。可以用MongoDB的updateMany命令批量转换：

db.your-collection.updateMany(
  { createdAt: { $type: "string" } },
  [ { $set: { createdAt: { $toDate: "$createdAt" } } } ]
)

内容的提问来源于stack exchange，提问作者Vivek Singh