如何用PyMongo执行MongoDB日期转换脚本并接入Apache Airflow
基于PyMongo实现Mongo字段类型转换 + Airflow调度的落地方案
一、PyMongo核心转换逻辑实现
逻辑与原Mongo shell脚本完全对齐:匹配所有dateCreated为字符串类型的文档,将字段值解析为Date类型后回写集合,同时补充生产环境需要的容错、效率优化。
核心实现代码如下:
from pymongo import UpdateOne from datetime import datetime import logging logger = logging.getLogger(__name__) def convert_date_created_field(shipping_collection, batch_size: int = 1000): # 匹配dateCreated为字符串类型的文档,仅拉取必要字段减少网络传输开销 cursor = shipping_collection.find( {"dateCreated": {"$type": "string"}}, projection={"dateCreated": 1} ) bulk_ops = [] success_count = 0 skip_count = 0 for doc in cursor: doc_id = doc["_id"] str_val = doc["dateCreated"] try: # 字符串转日期逻辑与Mongo shell的new Date()行为对齐,可根据实际存储的字符串格式补充解析规则 parsed_date = datetime.fromisoformat(str_val) bulk_ops.append( UpdateOne( {"_id": doc_id}, {"$set": {"dateCreated": parsed_date}} ) ) success_count += 1 # 攒够固定批次后执行*批量写入*,减少网络交互开销 if len(bulk_ops) >= batch_size: shipping_collection.bulk_write(bulk_ops) bulk_ops = [] except Exception as e: skip_count += 1 logger.warning(f"文档ID {doc_id} 解析失败,跳过:{str(e)}") # 写入剩余未提交的批次数据 if bulk_ops: shipping_collection.bulk_write(bulk_ops) logger.info(f"转换任务执行完成:成功处理 {success_count} 条,跳过解析失败数据 {skip_count} 条")
二、封装为Airflow可调度任务
生产环境不要硬编码Mongo连接信息,建议通过Airflow的连接管理功能统一存储数据库账号、地址信息,通过PythonOperator调用上述转换逻辑实现调度:
- 先在Airflow后台的连接管理页面,新建Mongo类型的连接,填写对应的Mongo集群地址、账号密码,设置连接ID(例如
prod_mongo) - 编写DAG文件,直接复用Airflow官方的MongoHook获取连接,不需要自己手动拼接连接串
完整DAG示例代码:
from datetime import datetime from airflow import DAG from airflow.providers.mongo.hooks.mongo import MongoHook from airflow.operators.python import PythonOperator # 导入前面写好的核心转换逻辑 from your_project.utils.mongo_task import convert_date_created_field def run_convert_job(**context): # 通过Airflow配置的连接ID获取Mongo客户端 mongo_hook = MongoHook(conn_id="prod_mongo") mongo_client = mongo_hook.get_conn() shipping_col = mongo_client["你的业务数据库名"]["shipping"] # 调用核心转换逻辑 convert_date_created_field(shipping_collection=shipping_col, batch_size=1000) with DAG( dag_id="shipping_date_type_repair", start_date=datetime(2024, 1, 1), schedule_interval="@once", # 历史数据修复任务设为单次执行即可,如需日常校验可调整为对应周期 catchup=False, default_args={ "retries": 2, "execution_timeout": 3600 } ) as dag: run_task = PythonOperator( task_id="convert_date_field_type", python_callable=run_convert_job )
三、落地注意事项
- 代码中的解析逻辑默认适配ISO格式的日期字符串,若业务库存储的字符串格式非标准ISO格式,需要根据实际值调整
datetime.strptime的解析规则,避免转换出错误的日期值 - 原Mongo shell脚本使用
save()做全文档覆盖,代码中改用$set仅更新目标字段,可以避免回写过程中覆盖其他并发修改的文档字段,降低数据一致性风险 - 单文档解析失败时会记录日志自动跳过,不会因为单条脏数据导致整个任务中断
- 大批量数据转换建议安排在业务低峰期执行,可适当调整批次大小提升处理效率,避免长时间占用Mongo集群的读写资源
内容的提问来源于stack exchange,提问作者Matias Ordoñez
相关产品推荐
相关产品推荐

