Laravel Excel实现行转列格式导入数据库需求咨询

方案一：Python脚本批量处理（适配复杂格式，支持自动化） #

适合需要重复执行、格式规则复杂的场景，能直接完成「转换+导入」全流程。

1. 安装依赖库

pip install pandas openpyxl sqlalchemy pymysql  # 按数据库类型调整依赖，比如SQL Server用pyodbc

2. 核心处理示例代码

import pandas as pd
from sqlalchemy import create_engine

# 读取原始Excel（根据实际格式调整header参数，比如表头在第3行就设header=2）
raw_data = pd.read_excel("供应商原始数据.xlsx", sheet_name="Sheet1", header=2)

# 数据清洗：移除全空行、映射列名到目标格式
clean_data = raw_data.dropna(how="all").rename(columns={
    "供应商编码": "supplier_id",
    "产品名称": "product_name",
    "季度销量": "quarter_sales",
    # 按需完成所有列的映射
})

# 结构转换（示例：宽表转长表，根据你的格式需求调整）
target_data = clean_data.melt(
    id_vars=["supplier_id", "product_name"],
    var_name="quarter",
    value_name="sales"
)

# 可选：保存转换后的Excel用于验证
target_data.to_excel("转换后数据.xlsx", index=False)

# 直接导入数据库（以MySQL为例，其他数据库调整连接字符串）
db_engine = create_engine("mysql+pymysql://username:password@localhost/db_name")
target_data.to_sql("target_table", db_engine, if_exists="append", index=False)

方案二：Excel Power Query半自动化转换（适合非开发人员，临时任务） #

利用Excel内置工具完成格式转换，再通过数据库导入工具完成入库：

• 打开原始Excel，选中数据区域，点击「数据」选项卡 →「从表格/范围」，进入Power Query编辑器
• 在编辑器中执行清洗操作：
  • 移除空行、拆分合并单元格内容
  • 重命名列匹配目标格式
  • 用「逆透视列」调整数据结构（如果原表是宽表）
• 点击「关闭并上载」，将转换后的数据保存为新Excel文件
• 使用数据库自带的导入工具（如MySQL Workbench、SQL Server导入导出向导）将新Excel导入数据库
• 可保存Power Query查询模板，后续导入新数据时直接复用规则

方案三：ETL工具可视化配置（适合定期同步场景） #

无需编码，通过可视化组件完成转换和导入：

• 选择ETL工具（如Talend Open Studio、Apache NiFi、阿里云DataWorks）
• 配置数据源为原始Excel，添加「数据清洗」「列映射」「结构转换」等组件，匹配目标格式
• 配置目标数据库连接，设置同步频率，实现自动转换+入库

关键注意事项 #

• 先梳理原始Excel的格式规则：明确合并单元格的展开逻辑、表头位置、空值处理方式，确保转换逻辑准确
• 转换后抽样验证数据一致性，避免导入错误数据
• 若原始Excel包含公式或宏，先将数据转为纯数值后再处理

内容的提问来源于stack exchange，提问作者user254153