如何使用Ozone创建Hive表

一、前置环境配置要求 #

• 基础组件版本匹配：需使用Hive 2.3+、Ozone 1.0+、Hadoop 3.1+版本，所有节点服务需正常运行无报错
• Ozone侧配置：
  • 提前创建好对应存储卷（Volume）和存储桶（Bucket），有数据回溯需求的话建议开启版本控制
  • 所有集群节点的core-site.xml中需添加Ozone文件系统适配配置：

  <property>
    <name>fs.o3fs.impl</name>
    <value>org.apache.hadoop.fs.ozone.OzoneFileSystem</value>
  </property>
  <property>
    <name>fs.AbstractFileSystem.o3fs.impl</name>
    <value>org.apache.hadoop.fs.ozone.OzFs</value>
  </property>
  

• Hive侧配置：
  • 将Ozone客户端依赖包（ozone-filesystem-hadoop3-*.jar、hadoop-ozone-client-*.jar等）拷贝到所有Hive节点的lib目录下
  • 确保Hive服务启动用户拥有Ozone对应存储桶的读写权限
• 连通性验证：在Hive所在节点执行hadoop fs -ls o3fs://<桶名>.<卷名>/命令，能正常列出存储桶内容则代表配置生效

二、具体操作步骤 #

1. 先在Ozone中创建表数据的专属存放目录，执行命令：
   hadoop fs -mkdir -p o3fs://<你的桶名>.<你的卷名>/hive/warehouse/<库名>/<表名>
2. 登录Hive客户端，执行建表语句，指定存储路径为Ozone路径即可，外部表示例：

CREATE EXTERNAL TABLE student (
  id INT,
  name STRING,
  age INT
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION 'o3fs://<你的桶名>.<你的卷名>/hive/warehouse/test_db/student';

如果需要创建内部表，可直接修改Hive默认仓库路径为Ozone路径，后续建内部表会自动存入Ozone：

SET hive.metastore.warehouse.dir=o3fs://<你的桶名>.<你的卷名>/hive/warehouse;
CREATE TABLE internal_student (
  id INT,
  name STRING,
  age INT
);

3. 验证建表结果：执行desc formatted student;查看表的Location字段，确认指向Ozone路径即可；也可以插入测试数据验证读写正常：

INSERT INTO student VALUES (1,'张三',18),(2,'李四',19);
SELECT * FROM student;

三、使用注意事项 #

• 路径格式必须准确：Ozone的o3fs路径固定格式为o3fs://<bucket>.<volume>/，注意桶名在前、卷名在后，不要和ofs路径的顺序混淆
• 权限排查：出现读写报错时优先检查Ozone的ACL配置，可通过ozone sh bucket add-acl命令给Hive用户授予对应桶的读写权限
• 性能优化：如果存储大表，建议开启Ozone的快目录功能，同时调整Hive输入分片大小适配Ozone的块大小，减少查询时的RPC请求量
• 事务表限制：当前Ozone对Hive事务表的支持不完善，不建议在Ozone上创建启用ACID的事务表
• 删表风险：外部表执行DROP TABLE时只会删除Hive元数据，不会删除Ozone上的实际数据；内部表删表会同步删除Ozone对应数据，操作前注意备份

内容的提问来源于stack exchange，提问作者Ranga Reddy