如何编写存储过程合并不同元数据表并导出CSV供Pandas调用？

1. 核心思路 #

由于各表列数、列名不一致，直接用UNION ALL拼接会报错。解决办法是把每个表的整行数据按顺序拼接成逗号分隔的字符串，这样所有表的输出都统一为单字符串列，就能用UNION ALL合并，最终导出的字符串就是CSV的每行内容。

2. 编写存储过程（以SQL Server为例，其他数据库逻辑通用） #

CREATE PROCEDURE ExportAllTablesToCSV
AS
BEGIN
    SET NOCOUNT ON;

    -- 拼接table1的每行数据为CSV格式字符串
    SELECT CONCAT(ID, ',', type, ',', Col1, ',', Col2, ',', Col3) AS CSVLine
    FROM table1
    UNION ALL
    -- 拼接table2的每行数据
    SELECT CONCAT(ID, ',', type, ',', Col1, ',', Col4) AS CSVLine
    FROM table2
    UNION ALL
    -- 拼接table3的每行数据
    SELECT CONCAT(ID, ',', type, ',', Col1, ',', Col3, ',', Col4) AS CSVLine
    FROM table3;
END

细节说明： #

• 如果字段可能包含逗号、引号等特殊字符，需要用QUOTENAME包裹字段避免CSV格式混乱，比如：CONCAT(QUOTENAME(ID, '"'), ',', QUOTENAME(type, '"'), ...)
• 不同数据库的字符串拼接函数有差异：MySQL用CONCAT_WS(',', ID, type, Col1, ...)，Oracle用ID || ',' || type || ',' || Col1 || ...

3. 通过Pandas调用存储过程并导出CSV #

import pandas as pd
import pyodbc  # SQL Server驱动，MySQL用pymysql，Oracle用cx_Oracle

# 建立数据库连接
conn = pyodbc.connect('DRIVER={SQL Server};SERVER=你的服务器地址;DATABASE=你的数据库名;UID=用户名;PWD=密码')

# 执行存储过程获取数据
df = pd.read_sql('EXEC ExportAllTablesToCSV', conn)

# 导出无表头的CSV，直接输出拼接好的字符串列
df['CSVLine'].to_csv('output.csv', index=False, header=False)

# 关闭连接
conn.close()

4. 数据库端直接导出CSV（可选） #

如果不需要通过Pandas，也可以在存储过程中用命令行工具直接导出（以SQL Server的bcp为例）：

CREATE PROCEDURE ExportAllTablesToCSVDirect
AS
BEGIN
    SET NOCOUNT ON;

    DECLARE @sql NVARCHAR(MAX) = N'
        SELECT CONCAT(ID, '','', type, '','', Col1, '','', Col2, '','', Col3) FROM table1
        UNION ALL
        SELECT CONCAT(ID, '','', type, '','', Col1, '','', Col4) FROM table2
        UNION ALL
        SELECT CONCAT(ID, '','', type, '','', Col1, '','', Col3, '','', Col4) FROM table3
    ';

    -- 构造bcp导出命令，替换为你的服务器、数据库、文件路径信息
    DECLARE @bcpCommand NVARCHAR(MAX) = N'
        bcp "' + @sql + N'" queryout "C:\目标文件路径\output.csv" -S 你的服务器 -d 你的数据库 -U 用户名 -P 密码 -c -t,
    ';

    EXEC xp_cmdshell @bcpCommand;
END

注意： #

• 使用xp_cmdshell需要先开启该功能，且需确保数据库账户有文件读写权限。

内容的提问来源于stack exchange，提问作者unicorn