未指定master ip时无法基于HDFS执行CTAS建表问题咨询

该路径校验失败本质是URI解析逻辑与Hadoop标准路径规则不兼容导致的：

1. 最初编写的hdfs:///path是Hadoop生态认可的短路径写法，正常HDFS客户端会自动读取环境中配置的fs.defaultFS参数，自动补全NameNode（即提到的master节点）的IP、端口信息，将短路径补全为完整合法的HDFS地址。
2. 使用的引擎在CTAS流程的路径校验环节，没有走Hadoop标准的配置加载逻辑，而是直接按通用URI格式解析路径：hdfs:///path中hdfs://后紧跟斜杠、没有填写host/authority段，通用URI解析逻辑会自动吞掉多余斜杠，最终解析出的路径就是报错里显示的非法路径hdfs:/path，校验逻辑识别不到合法的HDFS集群地址就会直接抛错，根本不会走到读取集群配置补全地址的步骤。
3. 手动填写master ip后，路径包含明确的authority段，URI解析能得到合法的HDFS地址，语句自然可以正常执行。

可根据实际使用的引擎类型选择以下方案，不需要在SQL中硬编码master ip：

• 为查询引擎配置全局默认HDFS地址。在引擎的HDFS连接器/数据源配置中，提前设置fs.defaultFS参数为HDFS集群默认地址（格式为hdfs://<master_ip>:<rpc_port>，高可用集群可直接填nameservice地址），配置生效后引擎的路径校验逻辑会自动读取该默认值补全hdfs:///开头的短路径，不会再出现解析错误。
• 直接使用HDFS HA nameservice作为路径前缀。如果HDFS集群为高可用部署，不需要写死单个master节点ip，直接把HDFS配置中定义的nameservice名称写到路径里即可，比如hdfs://<your_ha_nameservice>/path，只要将Hadoop集群的core-site.xml、hdfs-site.xml放到引擎的配置加载路径下，引擎就能自动识别nameservice对应的集群节点，还能兼容HDFS主备切换场景，比硬编码单节点ip稳定性更高。
• 开启引擎的Hadoop兼容路径解析开关。部分引擎默认关闭了HDFS短路径兼容逻辑，找到和HDFS URI校验相关的配置项（比如Trino Hive连接器的HDFS配置、Spark的spark.hadoop.fs.hdfs.impl相关配置），打开兼容Hadoop标准URI解析的开关后，即可正常识别hdfs:///开头的短路径。

内容的提问来源于stack exchange，提问作者Vishnubly