PySpark DataFrame写入MySQL遇通信链接失败，求排查

针对你遇到的com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure错误，按以下步骤排查：

1. 修正JDBC URL语法错误 #

你的URL参数部分格式错误，MySQL JDBC URL的参数需要以?开头，后续参数用&分隔。原URL中数据库名后直接用&会导致URL解析失败，正确格式如下：

.option("url", "jdbc:mysql://127.0.0.1:3306/dezyre_db?useUnicode=true&characterEncoding=UTF-8&useSSL=false")

2. 解决Databricks环境下的localhost访问问题 #

Databricks集群运行在云端，127.0.0.1指向集群自身节点，而非你的本地MySQL：

• 如果MySQL在本地运行：
  • 修改my.cnf（或my.ini）中bind-address为0.0.0.0，允许远程连接
  • 开放本地防火墙的3306端口，确保Databricks集群IP可访问
  • 将URL中的127.0.0.1替换为你的本地公网IP
• 如果MySQL是云端数据库（如AWS RDS、Azure MySQL）：
  • 替换URL中的地址为数据库的公网端点
  • 配置云端数据库的安全组/防火墙规则，允许Databricks集群IP访问

3. 匹配JDBC驱动版本与配置 #

• 驱动类名匹配：你使用的是5.x版本的MySQL连接器（mysql-connector-java-5.1.47），驱动类应为com.mysql.jdbc.Driver，若错误信息来自新版驱动包（com.mysql.cj），需统一版本：
  • 继续用5.x驱动：确保集群仅部署该版本，避免依赖冲突
  • 升级到8.x驱动：将驱动类改为com.mysql.cj.jdbc.Driver，并在URL中添加时区参数&serverTimezone=UTC
• Databricks jar包路径修正：本地路径/home/hduser/...在集群节点中不一定存在，建议将jar上传到DBFS，配置路径为dbfs:/path/to/mysql-connector-java-5.1.47.jar，或直接通过Databricks集群的「库」功能安装连接器，更可靠。

4. 检查MySQL用户权限 #

确保root用户允许从Databricks集群IP连接，在MySQL中执行以下命令：

GRANT ALL PRIVILEGES ON dezyre_db.* TO 'root'@'%' IDENTIFIED BY 'root';
FLUSH PRIVILEGES;

%表示允许任意IP访问，也可指定Databricks集群的公网IP范围。

内容的提问来源于stack exchange，提问作者Linexthe