You need to enable JavaScript to run this app. 如何用PyMongo执行MongoDB日期转换脚本并接入Apache Airflow
优惠活动
大模型
产品
解决方案
定价
更多

如何用PyMongo执行MongoDB日期转换脚本并接入Apache Airflow

基于PyMongo实现Mongo字段类型转换 + Airflow调度的落地方案

一、PyMongo核心转换逻辑实现

逻辑与原Mongo shell脚本完全对齐:匹配所有dateCreated为字符串类型的文档,将字段值解析为Date类型后回写集合,同时补充生产环境需要的容错、效率优化。
核心实现代码如下:

from pymongo import UpdateOne
from datetime import datetime
import logging

logger = logging.getLogger(__name__)

def convert_date_created_field(shipping_collection, batch_size: int = 1000):
    # 匹配dateCreated为字符串类型的文档,仅拉取必要字段减少网络传输开销
    cursor = shipping_collection.find(
        {"dateCreated": {"$type": "string"}},
        projection={"dateCreated": 1}
    )

    bulk_ops = []
    success_count = 0
    skip_count = 0

    for doc in cursor:
        doc_id = doc["_id"]
        str_val = doc["dateCreated"]
        try:
            # 字符串转日期逻辑与Mongo shell的new Date()行为对齐,可根据实际存储的字符串格式补充解析规则
            parsed_date = datetime.fromisoformat(str_val)
            bulk_ops.append(
                UpdateOne(
                    {"_id": doc_id},
                    {"$set": {"dateCreated": parsed_date}}
                )
            )
            success_count += 1

            # 攒够固定批次后执行*批量写入*,减少网络交互开销
            if len(bulk_ops) >= batch_size:
                shipping_collection.bulk_write(bulk_ops)
                bulk_ops = []
        except Exception as e:
            skip_count += 1
            logger.warning(f"文档ID {doc_id} 解析失败,跳过:{str(e)}")

    # 写入剩余未提交的批次数据
    if bulk_ops:
        shipping_collection.bulk_write(bulk_ops)

    logger.info(f"转换任务执行完成:成功处理 {success_count} 条,跳过解析失败数据 {skip_count} 条")

二、封装为Airflow可调度任务

生产环境不要硬编码Mongo连接信息,建议通过Airflow的连接管理功能统一存储数据库账号、地址信息,通过PythonOperator调用上述转换逻辑实现调度:

  1. 先在Airflow后台的连接管理页面,新建Mongo类型的连接,填写对应的Mongo集群地址、账号密码,设置连接ID(例如prod_mongo)
  2. 编写DAG文件,直接复用Airflow官方的MongoHook获取连接,不需要自己手动拼接连接串
    完整DAG示例代码:
from datetime import datetime
from airflow import DAG
from airflow.providers.mongo.hooks.mongo import MongoHook
from airflow.operators.python import PythonOperator
# 导入前面写好的核心转换逻辑
from your_project.utils.mongo_task import convert_date_created_field

def run_convert_job(**context):
    # 通过Airflow配置的连接ID获取Mongo客户端
    mongo_hook = MongoHook(conn_id="prod_mongo")
    mongo_client = mongo_hook.get_conn()
    shipping_col = mongo_client["你的业务数据库名"]["shipping"]
    # 调用核心转换逻辑
    convert_date_created_field(shipping_collection=shipping_col, batch_size=1000)

with DAG(
    dag_id="shipping_date_type_repair",
    start_date=datetime(2024, 1, 1),
    schedule_interval="@once", # 历史数据修复任务设为单次执行即可,如需日常校验可调整为对应周期
    catchup=False,
    default_args={
        "retries": 2,
        "execution_timeout": 3600
    }
) as dag:
    run_task = PythonOperator(
        task_id="convert_date_field_type",
        python_callable=run_convert_job
    )

三、落地注意事项

  • 代码中的解析逻辑默认适配ISO格式的日期字符串,若业务库存储的字符串格式非标准ISO格式,需要根据实际值调整datetime.strptime的解析规则,避免转换出错误的日期值
  • 原Mongo shell脚本使用save()做全文档覆盖,代码中改用$set仅更新目标字段,可以避免回写过程中覆盖其他并发修改的文档字段,降低数据一致性风险
  • 单文档解析失败时会记录日志自动跳过,不会因为单条脏数据导致整个任务中断
  • 大批量数据转换建议安排在业务低峰期执行,可适当调整批次大小提升处理效率,避免长时间占用Mongo集群的读写资源

内容的提问来源于stack exchange,提问作者Matias Ordoñez

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 09:24:04