从旧数据库向新数据库迁移数据的实现方案咨询

问题背景 #

现有生产环境数据库无法修改，需搭建优化后的新数据库，希望从旧库抽取数据并转换后填充到新库模型中。

旧库模型 #

class UserNumbers(model.Model):
    id=models.IntegerField(primary_key=True)
    name=models.CharField(max_length=50, blank=True, null=True)
    phone_number1=models.CharField(max_length=50, blank=True, null=True)
    phone_number2=models.CharField(max_length=50, blank=True, null=True)
    phone_number3=models.CharField(max_length=50, blank=True, null=True)

新库目标模型 #

from phone_field import PhoneField

class User(model.Model):
    id=models.IntegerField(primary_key=True)
    name=models.CharField(max_length=50, blank=True, null=True)

class UserNumbers(model.Model):
    user_id = models.ForeignKey(User, on_delete=models.CASCADE)
    phone_number = PhoneField(help_text='Contact phone number')
    comment = models.CharField(max_length=255)  # 补充max_length避免Django字段定义报错

可行性解答 #

完全可以采用你提出的思路实现，这是典型的数据库ETL（抽取-转换-加载）迁移场景，核心就是从只读旧库拉取数据，转换为新库模型结构后写入。

你的示例代码逻辑是对的，但可以做一些优化来提升效率和可靠性：

优化后的迁移代码示例

# 假设已通过Django多数据库配置连接新旧库
from old_app.models import UserNumbers as UserNumbersOld
from new_app.models import User, UserNumbers as UserNumbersNew

# 批量收集待创建对象，减少数据库交互次数
users_batch = []
numbers_batch = []

# 使用iterator()避免一次性加载大量数据导致内存溢出
for old_record in UserNumbersOld.objects.all().iterator():
    # 构建User对象
    users_batch.append(User(id=old_record.id, name=old_record.name))
    
    # 遍历所有手机号字段，过滤空值和纯空格
    phone_fields = [
        (old_record.phone_number1, "原手机号1"),
        (old_record.phone_number2, "原手机号2"),
        (old_record.phone_number3, "原手机号3")
    ]
    for phone, comment in phone_fields:
        if phone and phone.strip():
            numbers_batch.append(
                UserNumbersNew(
                    user_id=old_record.id,
                    phone_number=phone.strip(),
                    comment=comment
                )
            )

# 批量写入数据库，设置合理batch_size平衡效率和内存
if users_batch:
    User.objects.bulk_create(users_batch, batch_size=1000)
if numbers_batch:
    UserNumbersNew.objects.bulk_create(numbers_batch, batch_size=1000)

关键注意事项

• 多数据库配置：在Django settings中配置旧库为只读连接，避免误操作生产数据
• 数据校验：迁移前对旧数据做合法性校验（比如手机号格式），避免脏数据进入新库
• 事务控制：如果需要保证单个用户数据的完整性，可以将单用户的迁移逻辑包裹在事务中
• 增量同步：如果旧库持续产生新数据，后续需要实现增量迁移（比如按时间戳拉取更新数据）
• 备份验证：迁移前务必备份旧库数据，迁移后对比新旧库数据量和关键字段，确保迁移完整

内容的提问来源于stack exchange，提问作者Zergoholic