如何在Django中访问无模型远程数据库表并迁移数据？

一、先修正数据库配置错误 #

你当前的remote_db配置用了django.db.backends.sqlite3引擎，但SQLite是本地文件数据库，不支持HOST/USER/PASSWORD/PORT这些远程连接参数。从端口1433来看，你应该是用的SQL Server，先修正引擎配置：

# settings.py
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.sqlite3',
        'NAME': BASE_DIR / 'db.sqlite3',
    },
    'remote_db' : {
        # SQL Server引擎，需先安装依赖：pip install django-mssql-backend
        'ENGINE': 'mssql',
        'NAME': 'db_name',
        'USER': 'db_user',
        'PASSWORD': 'db_password',
        'HOST': '192.*.*.*',
        'PORT': '1433',
        'OPTIONS': {
            'driver': 'ODBC Driver 17 for SQL Server',
        },
    }
}

如果是MySQL数据库，引擎换成django.db.backends.mysql，并提前安装mysqlclient依赖。

二、访问远程数据库的现有表 #

Django无法直接通过remote_db.reports.all()访问无模型映射的表，推荐两种处理方式：

方式1：自动生成模型（推荐） #

用Django的inspectdb命令，根据远程表结构自动生成模型代码：

# 指定远程数据库生成模型，输出到文件
python manage.py inspectdb --database=remote_db > app_name/models_remote.py

将生成的模型类移到models.py，并修改Meta配置：

from django.db import models

class Reports(models.Model):
    # 自动生成的字段，如id、create_time、content等
    class Meta:
        managed = False  # 禁止Django修改该表结构
        db_table = 'reports'  # 指定远程表名

class EmployeeData(models.Model):
    class Meta:
        managed = False
        db_table = 'emplayee_data'

之后用using()指定数据库查询：

from app_name.models import Reports

# 查询远程数据库的reports表
remote_reports = Reports.objects.using('remote_db').all()

方式2：直接执行原生SQL #

若不想生成模型，可直接通过数据库连接执行SQL：

from django.db import connections

# 获取远程数据库连接并执行查询
with connections['remote_db'].cursor() as cursor:
    cursor.execute("SELECT * FROM reports")
    rows = cursor.fetchall()  # 返回元组格式的查询结果

三、实现远程数据到默认库的同步（含增量同步） #

1. 全量同步（首次执行） #

先在本地默认库创建对应模型（复制远程模型，修改managed为True让Django创建表）：

# app_name/models.py
class LocalReports(models.Model):
    create_time = models.DateTimeField()
    content = models.TextField()
    # 其他字段与远程Reports保持一致

    class Meta:
        db_table = 'local_reports'

执行迁移创建本地表：

python manage.py makemigrations
python manage.py migrate

编写全量同步脚本：

# app_name/utils.py
from app_name.models import Reports, LocalReports

def full_sync():
    # 清空本地表（可选）
    LocalReports.objects.all().delete()
    # 分批获取远程数据，避免内存溢出
    remote_reports = Reports.objects.using('remote_db').iterator()
    # 批量生成本地对象
    local_objects = [
        LocalReports(
            create_time=report.create_time,
            content=report.content,
            # 其他字段赋值
        ) for report in remote_reports
    ]
    # 批量插入本地库
    LocalReports.objects.bulk_create(local_objects)

2. 增量同步（每日执行） #

基于远程表的时间字段（如create_time），仅同步新增数据：

# app_name/utils.py
def incremental_sync():
    # 获取本地最新记录的时间
    last_sync_time = LocalReports.objects.aggregate(models.Max('create_time'))['create_time__max']
    if not last_sync_time:
        # 首次执行触发全量同步
        full_sync()
        return
    # 筛选远程表中新增的数据
    new_reports = Reports.objects.using('remote_db').filter(create_time__gt=last_sync_time)
    # 批量插入本地库
    local_objects = [
        LocalReports(
            create_time=report.create_time,
            content=report.content,
            # 其他字段赋值
        ) for report in new_reports
    ]
    LocalReports.objects.bulk_create(local_objects)

3. 定时执行同步 #

用django-crontab实现每日定时同步：

1. 安装依赖：

pip install django-crontab

2. 在settings.py添加配置：

INSTALLED_APPS = [
    # 其他已安装app
    'django_crontab',
]

# 每天凌晨1点执行增量同步
CRONJOBS = [
    ('0 1 * * *', 'app_name.utils.incremental_sync')
]

3. 启动定时任务：

python manage.py crontab add

内容的提问来源于stack exchange，提问作者Ali