如何通过JDBC或ODBC连接将S3存储桶数据导入MySQL数据库

S3本身是对象存储服务，无原生JDBC/ODBC访问接口，你可以通过AWS官方Athena服务作为中间层（Athena支持标准JDBC/ODBC驱动访问，可直接查询S3上的结构化/半结构化数据）实现导入需求，具体操作流程如下：

前置准备 #

• S3存储桶中待导入的数据需为结构化/半结构化格式（CSV、JSON、Parquet等），提前在AWS Athena中编写Hive DDL创建外部表，映射数据的字段结构，表的LOCATION参数填写对应S3文件的存储路径
• 准备拥有对应S3桶读取权限、Athena服务使用权限的AWS访问密钥（Access Key、Secret Key）
• 执行导入任务的设备提前安装对应版本JDK（JDBC方案）或系统ODBC驱动管理工具（ODBC方案）

方案一：JDBC实现流程 #

• 下载两个对应版本的JDBC驱动：AWS官方Athena JDBC驱动、MySQL官方JDBC驱动（mysql-connector-java）
• 编写代码实现数据迁移，核心逻辑示例如下：

// 加载驱动后建立Athena（读S3数据）连接
String athenaUrl = "jdbc:awsathena://AwsRegion=你的AWS区域;S3OutputLocation=s3://你的Athena查询结果存储桶路径/;";
Properties athenaProp = new Properties();
athenaProp.put("User", "AWS Access Key");
athenaProp.put("Password", "AWS Secret Key");
Connection athenaConn = DriverManager.getConnection(athenaUrl, athenaProp);

// 建立MySQL（写入目标）连接
String mysqlUrl = "jdbc:mysql://你的MySQL服务地址:3306/目标库名?useSSL=false&characterEncoding=utf8";
Properties mysqlProp = new Properties();
mysqlProp.put("user", "MySQL账号");
mysqlProp.put("password", "MySQL密码");
Connection mysqlConn = DriverManager.getConnection(mysqlUrl, mysqlProp);

• 执行Athena查询读取S3对应数据后批量写入MySQL，建议开启MySQL批量提交功能大幅提升写入效率，数据量大时分页查询Athena结果避免内存溢出，任务完成后关闭两个连接清理资源
• 若不想使用Athena服务，也可以替换为第三方开源S3 JDBC驱动直接读取S3结构化数据，写入MySQL的逻辑和上述流程完全一致

方案二：ODBC实现流程 #

• 下载安装两个对应版本的ODBC驱动：AWS官方Athena ODBC驱动、MySQL官方ODBC驱动（MySQL Connector/ODBC）
• 在系统ODBC数据源管理器中分别添加两个数据源：
  • 配置Athena数据源时填写AWS区域、查询结果存储桶、AWS访问密钥
  • 配置MySQL数据源时填写服务地址、端口、目标库名、访问账号密码
• 两种方式完成数据导入：
  • 用支持ODBC的ETL工具（如开源Kettle、桌面端Excel/Access等）分别连接两个ODBC数据源，配置同步任务后执行导入
  • 自行编写代码调用ODBC接口，读取Athena返回的S3数据后写入MySQL，支持Python、C#等多种语言实现
• 需要确保驱动版本与操作系统、对应服务版本完全匹配，避免出现连接异常

内容的提问来源于stack exchange，提问作者Hardik