SAS按月更新数据库自动化诉求：周数据拆分与新月库自动创建问题

核心思路 #

通过提取影像日期的年月标识匹配目标月度库，自动完成数据拆分、库存在性检查、建库（若需）、数据追加全流程，无需手动干预。

问题1：跨月周数据自动拆分与批量追加 #

实现逻辑 #

1. 从周度数据的影像日期列中提取YYYYMM格式的年月值，作为目标库的名称前缀（比如202305对应DB202305）。
2. 按年月值对周度数据分组，将每组数据定向追加到对应月度库的同结构表中。

示例实现（Python + pandas + SQLAlchemy） #

import pandas as pd
from sqlalchemy import create_engine, text

# 1. 读取周度数据（支持CSV或直接读取SQL表）
weekly_data = pd.read_csv("weekly_data.csv")
weekly_data["影像日期"] = pd.to_datetime(weekly_data["影像日期"])
weekly_data["target_db"] = "DB" + weekly_data["影像日期"].dt.strftime("%Y%m")

# 2. 按目标库分组处理
for db_name, group_data in weekly_data.groupby("target_db"):
    # 连接目标库
    engine = create_engine(f"mssql+pyodbc://server_name/{db_name}?driver=ODBC+Driver+17+for+SQL+Server")
    
    # 追加数据到目标库的对应表（假设表结构一致，表名为image_data）
    group_data.drop(columns=["target_db"]).to_sql(
        name="image_data",
        con=engine,
        if_exists="append",
        index=False
    )
    print(f"已追加数据至 {db_name}.image_data")

示例实现（SQL Server T-SQL） #

-- 假设周度数据存储在临时表#weekly_data中，含影像日期列image_date
DECLARE @current_db NVARCHAR(50), @sql NVARCHAR(MAX)

-- 遍历所有需处理的年月
DECLARE db_cursor CURSOR FOR
SELECT DISTINCT 'DB' + FORMAT(image_date, 'yyyyMM') AS target_db
FROM #weekly_data

OPEN db_cursor
FETCH NEXT FROM db_cursor INTO @current_db

WHILE @@FETCH_STATUS = 0
BEGIN
    -- 拆分对应年月的数据并追加
    SET @sql = N'
        INSERT INTO ' + QUOTENAME(@current_db) + N'.dbo.image_data
        SELECT * FROM #weekly_data
        WHERE FORMAT(image_date, ''yyyyMM'') = ''' + RIGHT(@current_db, 6) + '''
    '
    EXEC sp_executesql @sql

    FETCH NEXT FROM db_cursor INTO @current_db
END

CLOSE db_cursor
DEALLOCATE db_cursor

问题2：自动创建不存在的月度数据库 #

实现逻辑 #

在追加数据前，先检查目标库是否存在，若不存在则调用建库语句创建，再同步周度表的结构到新库。

集成到Python代码的建库逻辑 #

在分组处理前添加库存在性检查与创建逻辑：

# 检查并创建数据库（含表结构同步）
def create_database_if_not_exists(engine_base, db_name):
    with engine_base.connect() as conn:
        # 检查数据库是否存在
        check_sql = text(f"SELECT name FROM sys.databases WHERE name = '{db_name}'")
        result = conn.execute(check_sql).fetchone()
        if not result:
            # 创建数据库
            create_sql = text(f"CREATE DATABASE {db_name}")
            conn.execute(create_sql)
            conn.commit()
            print(f"已创建数据库 {db_name}")
            
            # 复制周度表结构到新库（假设周度表在default_db.dbo.image_data）
            copy_table_sql = text(f"""
                SELECT * INTO {db_name}.dbo.image_data 
                FROM default_db.dbo.image_data WHERE 1=0
            """)
            conn.execute(copy_table_sql)
            conn.commit()

# 先连接到基础数据库（如master库）
engine_base = create_engine("mssql+pyodbc://server_name/master?driver=ODBC+Driver+17+for+SQL+Server")

# 分组处理前执行建库检查
for db_name, group_data in weekly_data.groupby("target_db"):
    create_database_if_not_exists(engine_base, db_name)
    # 后续追加数据逻辑同之前

集成到T-SQL的建库逻辑 #

在游标循环内添加建库检查：

WHILE @@FETCH_STATUS = 0
BEGIN
    -- 检查数据库是否存在
    IF NOT EXISTS (SELECT name FROM sys.databases WHERE name = @current_db)
    BEGIN
        -- 创建数据库
        SET @sql = N'CREATE DATABASE ' + QUOTENAME(@current_db)
        EXEC sp_executesql @sql
        
        -- 复制表结构（假设周度表在default_db.dbo.image_data）
        SET @sql = N'
            SELECT * INTO ' + QUOTENAME(@current_db) + N'.dbo.image_data
            FROM default_db.dbo.image_data WHERE 1=0
        '
        EXEC sp_executesql @sql
        PRINT '已创建数据库 ' + @current_db + ' 及对应表结构'
    END

    -- 后续追加数据逻辑同之前
    FETCH NEXT FROM db_cursor INTO @current_db
END

注意事项 #

• 确保执行脚本的账号拥有创建数据库和读写表的权限。
• 若使用MySQL、PostgreSQL等其他数据库，仅需调整建库和连接语法（比如MySQL用CREATE DATABASE IF NOT EXISTS）。
• 周度表与月度表的结构需保持一致，若有结构变更，需同步更新建表逻辑。

内容的提问来源于stack exchange，提问作者JK1222