将PostgreSQL集群中的多数据库迁移至Apache Druid求助

1. 前期准备与规划 #

• 梳理PostgreSQL所有数据库、表结构，筛选出需迁移的核心业务数据（Druid适配时序、聚合查询场景，无需迁移冷数据或低价值数据）
• 针对目标数据设计Druid模型：将PostgreSQL字段映射为Druid的维度（用于过滤、分组）和度量（用于聚合计算），明确数据更新策略（append/overwrite等）——Druid不支持事务与行级更新，需提前规划
• 根据待迁移数据量调整Druid集群资源，扩容Coordinator、Overlord、MiddleManager等组件，避免迁移过程中集群过载

2. 数据抽取方式选择 #

方式一：全量批量迁移（适配历史冷数据） #

使用Druid的PostgreSQL输入源配合Batch任务，可通过Druid SQL或 ingestion spec实现：

• 编写ingestion spec配置文件，指定PostgreSQL连接信息与待抽取数据的查询语句：

{
  "type": "index_parallel",
  "spec": {
    "ioConfig": {
      "type": "index_parallel",
      "inputSource": {
        "type": "postgresql",
        "database": "target_db",
        "port": 5432,
        "host": "pg_cluster_host",
        "user": "pg_user",
        "password": "pg_password",
        "query": "SELECT id, event_time, user_id, order_amount FROM orders WHERE event_time < '2024-01-01'"
      },
      "inputFormat": {
        "type": "json"
      }
    },
    "dataSchema": {
      "dataSource": "orders_druid_ds",
      "timestampSpec": {
        "column": "event_time",
        "format": "iso"
      },
      "dimensionsSpec": {
        "dimensions": ["id", "user_id"]
      },
      "metricsSpec": [
        {"type": "count", "name": "order_count"},
        {"type": "sum", "name": "total_amount", "fieldName": "order_amount"}
      ]
    },
    "tuningConfig": {
      "type": "index_parallel",
      "partitionsSpec": {
        "type": "dynamic"
      }
    }
  }
}

• 通过Druid API提交任务：curl -X POST -H 'Content-Type: application/json' -d @ingestion_spec.json http://druid-overlord:8090/druid/indexer/v1/task
• 多数据库批量迁移可编写脚本循环生成对应ingestion spec并提交，按库/表拆分任务避免单任务数据量过大

方式二：增量实时同步（适配近实时更新数据） #

基于PostgreSQL逻辑复制实现实时同步：

1. 在PostgreSQL中开启逻辑复制，创建发布者与订阅者，借助Debezium等工具捕捉WAL日志并发送至Kafka
2. 在Druid中配置Kafka ingestion任务，实时消费变更数据；注意Druid原生不支持硬删除，需通过软删除标记或定期重索引处理删除操作

3. 数据验证与测试 #

• 对比PostgreSQL与Druid的核心聚合指标（如总记录数、求和值、分组统计结果），确保数据一致性
• 运行业务常用查询语句，验证Druid的查询结果与性能是否符合预期

4. 关键注意事项 #

• Druid不支持复杂JOIN操作，迁移前需调整数据模型，将关联数据预聚合或维度化
• 大文本字段在Druid中存储成本较高，建议仅保留必要维度字段，大文本可存储至外部存储并通过Lookup关联
• 迁移过程中通过Coordinator UI监控任务进度，排查MiddleManager、Overlord日志定位失败任务

内容的提问来源于stack exchange，提问作者hicham