从含空格的HDFS路径加载文件到Hive分区表的方法求助

当分区路径包含空格时，MSCK REPAIR TABLE会因为路径解析失败报错，以下两种方案可以解决这个问题：

方案1：手动添加分区 #

直接通过ALTER TABLE语句手动指定分区，将分区值和路径用单引号包裹，绕过自动解析的限制：

ALTER TABLE a ADD PARTITION (col3='all eq 10%35') LOCATION '/qa/app/project/col3=all eq 10%35';

如果有多个带空格的分区，只需重复执行上述语句，替换对应的分区值和路径即可。

方案2：调整Hive配置（需权限） #

若拥有集群配置权限，可修改Hive的路径校验参数，让MSCK REPAIR TABLE忽略路径格式问题：

• 临时生效（当前会话）：
  先执行以下设置，再运行修复命令：

  SET hive.msck.path.validation=skip;
  MSCK REPAIR TABLE a;
  

• 永久生效：
  在hive-site.xml中添加或修改配置项：

  <property>
    <name>hive.msck.path.validation</name>
    <value>skip</value>
  </property>
  

  修改后重启Hive服务，后续执行MSCK REPAIR TABLE即可自动识别带空格的分区。

注意：开启skip模式后，MSCK会跳过所有路径格式校验，可能加载不符合规范的分区，需确保数据路径的正确性。

内容的提问来源于stack exchange，提问作者Sananda Dutta