如何在Hive中基于非事务表创建分桶ORC事务表且无需指定全量列
可行性结论
可以实现,完全不需要手动罗列ccm的上百个数据列,利用Hive CREATE TABLE ... LIKE的扩展语法,即可在继承原表列、分区定义的同时,自定义分桶策略、ORC存储格式与事务属性。
示例HQL语句
-- 若需要建外部表,在CREATE后加EXTERNAL关键字即可 CREATE TABLE abc LIKE ccm -- 自动继承ccm的所有数据列、分区字段定义,无需手动列列 STORED AS ORC -- 指定ORC存储格式(事务表强制要求) CLUSTERED BY (user_id) -- 替换为业务需要的分桶字段(必须是ccm已有的列) INTO 16 BUCKETS -- 自定义分桶数量,根据数据规模调整 TBLPROPERTIES ( 'transactional'='true', -- 开启事务支持的核心配置 -- 以下为可选配置,按需添加即可 'orc.compress'='SNAPPY', 'auto.purge'='true' );
关键逻辑说明
- 列与分区自动继承:
LIKE ccm会完整复制原表的所有数据列、分区字段的名称、数据类型、注释,无需手动编写列定义,直接解决列数过多的问题。 - 自定义配置覆盖:
LIKE之后指定的存储格式、分桶规则、表属性会覆盖原表的对应配置,不会影响列与分区的继承关系。 - 事务规则完全匹配:Hive官方要求事务表必须使用ORC存储格式,且支持DML操作的事务表需配置分桶,上述语句的配置完全符合规范,配合
transactional=true即可开启表级事务支持。 - 版本兼容性:该语法在Hive 0.13及以上版本均可使用,主流Hive 2.x、3.x集群可直接运行。
注意:
CLUSTERED BY后填写的分桶字段必须是ccm表已存在的列,否则会触发语法报错。
补充:如果使用的是Hive 0.13之前的极旧版本,不支持LIKE后自定义分桶、存储格式的话,可通过查询元数据拼接列定义生成完整建表语句,但该场景目前几乎不会遇到,主流集群均满足版本要求。
内容的提问来源于stack exchange,提问作者Mark Ginsburg
相关产品推荐
相关产品推荐

