Hive外部表读取GCS子目录失效、写入路径错误问题排查

问题原因 #

1. 路径硬编码残留：脚本中存在未完全替换的旧路径片段，比如原脚本写死了websites/par_websites作为输出路径的一部分，更新子目录后未全局替换，导致输出路径仍指向根目录下的旧位置；同时因读取路径错误，Hive无法找到CSV文件，最终生成空文件夹。
2. Hive表LOCATION配置错误：若使用外部表读取CSV，表的LOCATION未正确指向gs://<BUCKET-NAME>/data/websites/，导致Hive无法定位到子目录下的文件。
3. 路径格式问题：GCS路径未使用完整绝对路径，或缺少末尾斜杠，导致Hive解析路径时无法识别子目录结构。

解决步骤 #

• 全局替换脚本中的所有路径
  确保读取和输出路径完全指向目标子目录，无任何旧路径残留：

  • 读取路径：gs://<BUCKET-NAME>/data/websites/
  • 输出路径：gs://<BUCKET-NAME>/data/websites/par_websites/
    检查脚本中所有涉及路径的部分（包括INSERT语句、表定义、变量等），避免出现未带data/前缀的websites/片段。

• 正确配置Hive外部表
  若使用外部表读取CSV，明确指定LOCATION为子目录，并添加必要属性：

  CREATE EXTERNAL TABLE websites_csv (
    -- 替换为你的实际字段定义，示例：
    id INT,
    url STRING,
    create_time TIMESTAMP
  )
  ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
  STORED AS TEXTFILE
  LOCATION 'gs://<BUCKET-NAME>/data/websites/'
  TBLPROPERTIES (
    "skip.header.line.count"="1",
    "mapred.input.dir.recursive"="true"
  );
  

  skip.header.line.count用于跳过CSV表头，mapred.input.dir.recursive确保Hive能读取目录下的所有文件（含嵌套子目录）。

• 使用完整绝对路径导出Parquet
  导出时直接指定完整子目录路径，避免使用相对路径：

  INSERT OVERWRITE DIRECTORY 'gs://<BUCKET-NAME>/data/websites/par_websites/'
  STORED AS PARQUET
  SELECT * FROM websites_csv;
  

• 验证GCS子目录权限
  确认Hive服务使用的账号（如Dataproc集群服务账号）对目标子目录和输出目录有读写权限，可通过以下命令测试：

  gsutil ls gs://<BUCKET-NAME>/data/websites/
  gsutil mkdir gs://<BUCKET-NAME>/data/websites/par_websites/
  

  若命令执行失败，需为服务账号添加GCS存储桶的storage.objects.list和storage.objects.create权限。

• 清理错误路径
  删除根目录下生成的空文件夹，避免后续路径混淆：

  gsutil rm -r gs://<BUCKET-NAME>/websites/par_websites/
  

内容的提问来源于stack exchange，提问作者jatinw21