cdm-schema.microsoft.com宕机,spark-cdm-connector故障的临时解决办法?
临时解决spark-cdm-connector因cdm-schema.microsoft.com宕机导致的运行问题
配置本地CDM根架构副本
- 获取CDM根架构文件:优先使用之前应用运行时缓存的本地架构文件;若没有,可从微软CDM官方代码仓库下载核心架构文件(如
cdmfoundation.cdm.json、core.cdm.json等),确保完整获取所有依赖的架构文件。 - 在Spark配置中指定本地架构路径:添加
spark.cdm.schemaRoot参数,将值设为本地架构文件所在的目录路径,示例代码:spark.conf.set("spark.cdm.schemaRoot", "/opt/cdm-local-schemas") - 保持本地架构文件的目录层级与官方服务器一致,避免路径引用错误。
- 获取CDM根架构文件:优先使用之前应用运行时缓存的本地架构文件;若没有,可从微软CDM官方代码仓库下载核心架构文件(如
启用连接器离线模式(若支持)
部分版本的spark-cdm-connector支持离线模式,可强制使用本地缓存的架构文件,无需发起远程请求。在Spark配置中添加:spark.conf.set("spark.cdm.offlineMode", "true")注意:若之前未运行过应用导致无缓存,此方法无效,需先获取本地架构文件。
临时修改主机文件映射(紧急场景)
若你有可访问的CDM架构镜像源或本地托管的架构文件,可修改主机文件将cdm-schema.microsoft.com映射到对应服务器IP:- Windows系统:编辑
C:\Windows\System32\drivers\etc\hosts,添加一行:[你的服务器IP] cdm-schema.microsoft.com - Linux/macOS系统:编辑
/etc/hosts,添加相同格式的映射内容
确保目标服务器上部署了完整的CDM根架构文件,且路径与官方服务器一致。
- Windows系统:编辑
内容的提问来源于stack exchange,提问作者skword
相关产品推荐
相关产品推荐

