如何从Databricks将CSV/Delta表写入DBFS中的MS Access数据库？

方案1：本地/中转服务器读写中转 #

由于Databricks集群无法安装MS Access驱动，可通过通用格式中转完成写入：

• 在Databricks中将Delta表或CSV导出为Parquet/CSV到DBFS临时路径：

  # 导出Delta表
  spark.read.table("your_delta_table").write.parquet("dbfs:/temp/exported_data")
  # 或导出CSV
  spark.read.csv("dbfs:/path/to/source.csv").write.csv("dbfs:/temp/exported_csv", header=True)
  

• 将导出的文件从DBFS下载到本地或装有Access驱动的服务器：
  可通过Databricks CLI执行databricks fs cp dbfs:/temp/exported_data local/path --recursive，或在Notebook中用dbutils.fs.download。
• 用本地Python（pyodbc）读取文件并写入Access数据库：

  import pyodbc
  import pandas as pd
  
  # 读取本地文件
  df = pd.read_parquet("local/path/exported_data")
  # 连接Access数据库
  conn_str = r'DRIVER={Microsoft Access Driver (*.mdb, *.accdb)};DBQ=C:\path\to\your.accdb;'
  conn = pyodbc.connect(conn_str)
  # 写入数据
  df.to_sql("target_table", conn, if_exists="append", index=False)
  conn.close()
  

• 将更新后的.accdb文件上传回DBFS：
  用CLI执行databricks fs cp local/path/your.accdb dbfs:/target/path/your.accdb。

方案2：通过ETL工具（如Azure Data Factory）实现自动化中转 #

适合企业级自动化场景，依赖自托管集成运行时解决驱动问题：

• 部署自托管集成运行时：在装有MS Access驱动的服务器上配置ADF自托管运行时，确保能访问DBFS和Access文件。
• 配置数据集：
  • 创建Databricks数据集，关联目标Delta表或CSV存储路径；
  • 创建Access数据集，通过自托管运行时连接.accdb文件（若文件在DBFS，需先将其挂载到运行时可访问的存储，如Azure Blob Storage）。
• 构建复制管道：添加复制活动，将Databricks数据源的数据复制到Access目标表，完成后将更新的.accdb同步回DBFS。

方案3：修复ucanaccess配置实现直接写入 #

若之前ucanaccess仅能读取，可能是配置或依赖缺失，可尝试以下步骤：

• 在Databricks集群安装完整依赖：在集群库中添加ucanaccess、jackcess、commons-lang3、commons-logging等包（可通过Maven坐标或PyPI安装）。
• 使用正确的JDBC路径和配置：DBFS在Databricks本地挂载路径为/dbfs/，需将dbfs:/xxx转换为/dbfs/xxx，并配置写入模式：

  df.write.format("jdbc") \
    .option("url", "jdbc:ucanaccess:///dbfs/path/to/your.accdb;memory=false;immediatelyReleaseResources=true") \
    .option("dbtable", "target_table") \
    .option("driver", "net.ucanaccess.jdbc.UcanaccessDriver") \
    .mode("append") \
    .save()
  

• 注意事项：ucanaccess对复杂数据类型（如数组、结构体）支持有限，大表写入性能可能不佳，需测试验证。

内容的提问来源于stack exchange，提问作者user1765609