You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

hbase2.5支持zstd吗

HBase 2.5是Apache HBase的最新版本,其提供了许多功能改进和性能优化。其中,对Zstandard(Zstd)的支持是一个非常重要的新功能之一。那么,HBase 2.5是否支持Zstd呢?

首先,我们需要了解一下什么是Zstd。Zstd是一种针对无损压缩和解压缩的开源算法,由Facebook开发。它提供了比DEFLATE更快的压缩速度和更好的压缩比。因此,在HBase中使用Zstd可以大大减小存储空间的占用。

HBase 2.5中,支持Zstd的方式是通过在TableDescriptor中添加一个新的Compression类型:Compression.Algorithm.ZSTD。以下是一个使用Zstd的TableDescriptor的示例代码:

Configuration conf = HBaseConfiguration.create();
Connection conn = ConnectionFactory.createConnection(conf);
Admin admin = conn.getAdmin();
TableName tableName = TableName.valueOf("test");
HTableDescriptor tableDescriptor = new HTableDescriptor(tableName);
HColumnDescriptor columnDescriptor = new HColumnDescriptor("cf");
columnDescriptor.setCompressionType(Compression.Algorithm.ZSTD);
tableDescriptor.addFamily(columnDescriptor);
admin.createTable(tableDescriptor);

在代码中,我们首先创建了一个HBase连接,然后创建了一个名为“test”的表。接下来,我们定义了一个列族“cf”,并将它的压缩类型设置为Zstd。最后,我们使用TableDescriptor创建了表。在表中插入数据时,HBase将使用Zstd算法将数据压缩,并将其写入磁盘。

需要注意的是,在运行HBase 2.5之前,必须确保依赖库中包含了zstd。如果您使用的是CDH等发行,则可以使用以下命令进行安装:

yum install -y zstd

而如果您是在源代码中构建HBase,则可以在pom.xml中添加以下依赖项:

<dependency>
  <groupId>org.lmdbjava</groupId>
  <artifactId>lmdbjni-runner</artifactId>
  <version>1.1.1</version>
</dependency>

总之,HBase 2.5支持Zstd,而且使用它可以显著减少存储空间的占用。希望本文能够帮

本文内容通过AI工具匹配关键字智能整合而成,仅供参考,火山引擎不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系service@volcengine.com进行反馈,火山引擎收到您的反馈后将及时答复和处理。
展开更多
火山引擎表格数据库 HBase 版是基于Apache HBase提供的全托管数据库服务

社区干货

「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.04

HBase 中的表支持 Snappy 压缩;Hive,组件行为与开源保持一致,不再支持中文的表字段名;Doris,版本升级至1.1.5;Hudi,修复开源社区版本存在潜在数据丢失等问题。 - **新增** **EMR** **软件** **栈** **2.1.1:*... =&rk3s=8031ce6d&x-expires=1715962895&x-signature=P%2FZVX96lglNB3x4u3UKWI0CqXZs%3D)### **云原生开源大数据平台E-MapReduce****【存算分离】**- **更低成本,更优架构:** - **更少的存储**:对象...

「火山引擎数据中台产品双月刊」 VOL.07

离线数据集成支持 Gbase8S2LAS、OceanBase2LAS、实时集成 Kafka2LAS - 数据开发支持 LAS Flink 任务类型 - 指标平台支持 HBase 数据源创建模型绑定 - 数据地图支持 GaussDB 元数据采集 - 数据安全新增审计日志功能- **【** **公有云** **-功能迭代更新】** - 数据开发:新增 EMR Doris、EMR StarRocks 任务类型、Shell\Python\Notebook 任务支持 0.25CU/0.5CU 资源规格配置、临时查询...

「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.04

HBase 中的表支持 Snappy 压缩;Hive,组件行为与开源保持一致,不再支持中文的表字段名;Doris,版本升级至1.1.5;Hudi,修复开源社区版本存在潜在数据丢失等问题。 - **新增** **EMR** **软件** **栈** **2.1.1:*... =&rk3s=8031ce6d&x-expires=1715876495&x-signature=v7k3QC4OjPC0vpCj%2Bt06IbuT5zs%3D)**【简介】** 随着企业数据规模与日俱增,企业需要一套数据中台辅助看数、算数和用数,实现降本增效、辅助决策。本次分享聚焦...

「火山引擎」数据中台产品双月刊 VOL.05

新增软件栈 3.2.1:Doris升级至1.2.1;Kafka升级至2.8.1;Hudi升级至0.12.2;Flink升级至1.16.0,引入StarRocks、Doris、HBase和ByteHouse Connector,支持MySQL Sink,优化多个配置,达到开箱即用;支持avro,csv,debez... =&rk3s=8031ce6d&x-expires=1715962835&x-signature=w1uYtdJgA0a05ZB2cKgQ1x05kgo%3D)【简介】数据血缘是帮助用户找数据、理解数据以及使数据发挥价值的基础能力。本文将聚焦数据血缘存储和血缘导出,分享数据血缘...

特惠活动

缓存型数据库Redis

1GB 1分片+2节点,高可用架构
24.00/80.00/月
立即购买

短文本语音合成 10千次

多音色、多语言、多情感,享20款免费精品音色
15.00/30.00/年
立即购买

短文本语音合成 30千次

5折限时特惠,享20款免费精品音色
49.00/99.00/年
立即购买

hbase2.5支持zstd吗-优选内容

开启字典压缩
功能介绍字典压缩(ZSTD_DICT)是 HBase 深度优化的压缩算法,在 ZSTD 压缩算法的基础上进行了字典采样的优化,能够进一步压缩存储空间,数据压缩比可高达 10:1 以上。经实际测试,当开启字典压缩功能后,数据量明显减少,不同压缩算法的对比结果如下: 车联网数据 数据类型 原始数据 ZSTD 字典压缩 Snappy LZ4 车联网数据 9.7GB 722MB 649MB 1.6GB 1.8GB 日志数据 数据类型 原始数据 ZSTD 字典压缩 Snappy LZ4 日志数据 7.2GB 853MB 4...
新功能发布记录
本文介绍表格数据库 HBase 版的产品功能动态和相关文档。 2024 年 04 月功能 功能描述 发布时间 发布地域 相关文档 支持开启登录认证 支持在创建实例时,开启登录认证。开启后需要通过账号和密码来连接 HBase 实例... 帮助您更好地观察和优化 HBase 实例的运行状态和性能表现。 2024-02-06 全部 监控指标说明 字典压缩功能优化 字典压缩是 HBase 深度优化的压缩算法,在 ZSTD 压缩算法的基础上进行了字典采样的优化,能够进一步压缩存...
功能概览
支持的功能。 类别 功能 实例管理 变更实例配置 冷热分离 重启实例 修改实例参数 删除或退订实例 实例删除保护 标签管理 连接管理 申请 Thrift2 连接地址 释放 Thrift2 连接地址 开启公网访问 关闭公网访问 使用 Java API 连接实例 使用 HBase Shell 连接实例 监控告警 查看监控数据 设置告警 白名单管理 创建白名单 编辑白名单 绑定实例和白名单 解绑实例和白名单 删除白名单 .custom-md-table tr td:nth-of-ty...
功能发布记录(2023年)
本文为您介绍 2023 年大数据研发治理套件 DataLeap 产品功能和对应的文档动态。 2023/12/21序号 功能 功能描述 使用文档 1 数据集成 ByteHouse CDW 离线写入时,支持写入动态分区; HBase 数据源支持火山引擎 ... Python 资源库 2 数据集成 实时分库分表、实时整库解决方案,支持 DDL 策略配置。 离线整库同步解决方案,支持批量添加库名/表名映射规则、手动编辑字段名、字段类型信息。 TOS 数据源支持流式写入。 新增 TDengi...

hbase2.5支持zstd吗-相关内容

「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.04

HBase 中的表支持 Snappy 压缩;Hive,组件行为与开源保持一致,不再支持中文的表字段名;Doris,版本升级至1.1.5;Hudi,修复开源社区版本存在潜在数据丢失等问题。 - **新增** **EMR** **软件** **栈** **2.1.1:*... =&rk3s=8031ce6d&x-expires=1715962895&x-signature=P%2FZVX96lglNB3x4u3UKWI0CqXZs%3D)### **云原生开源大数据平台E-MapReduce****【存算分离】**- **更低成本,更优架构:** - **更少的存储**:对象...

「火山引擎数据中台产品双月刊」 VOL.07

离线数据集成支持 Gbase8S2LAS、OceanBase2LAS、实时集成 Kafka2LAS - 数据开发支持 LAS Flink 任务类型 - 指标平台支持 HBase 数据源创建模型绑定 - 数据地图支持 GaussDB 元数据采集 - 数据安全新增审计日志功能- **【** **公有云** **-功能迭代更新】** - 数据开发:新增 EMR Doris、EMR StarRocks 任务类型、Shell\Python\Notebook 任务支持 0.25CU/0.5CU 资源规格配置、临时查询...

「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.04

HBase 中的表支持 Snappy 压缩;Hive,组件行为与开源保持一致,不再支持中文的表字段名;Doris,版本升级至1.1.5;Hudi,修复开源社区版本存在潜在数据丢失等问题。 - **新增** **EMR** **软件** **栈** **2.1.1:*... =&rk3s=8031ce6d&x-expires=1715876495&x-signature=v7k3QC4OjPC0vpCj%2Bt06IbuT5zs%3D)**【简介】** 随着企业数据规模与日俱增,企业需要一套数据中台辅助看数、算数和用数,实现降本增效、辅助决策。本次分享聚焦...

缓存型数据库Redis

1GB 1分片+2节点,高可用架构
24.00/80.00/月
立即购买

短文本语音合成 10千次

多音色、多语言、多情感,享20款免费精品音色
15.00/30.00/年
立即购买

短文本语音合成 30千次

5折限时特惠,享20款免费精品音色
49.00/99.00/年
立即购买

「火山引擎」数据中台产品双月刊 VOL.05

新增软件栈 3.2.1:Doris升级至1.2.1;Kafka升级至2.8.1;Hudi升级至0.12.2;Flink升级至1.16.0,引入StarRocks、Doris、HBase和ByteHouse Connector,支持MySQL Sink,优化多个配置,达到开箱即用;支持avro,csv,debez... =&rk3s=8031ce6d&x-expires=1715962835&x-signature=w1uYtdJgA0a05ZB2cKgQ1x05kgo%3D)【简介】数据血缘是帮助用户找数据、理解数据以及使数据发挥价值的基础能力。本文将聚焦数据血缘存储和血缘导出,分享数据血缘...

Pulsar 在云原生消息引擎领域为何如此流行?| 社区征文

#### 3.2.3 Compression(压缩)你可以压缩生产者在传输期间发布的消息。Pulsar 目前支持以下类型的压缩: - LZ4 - ZLIB - ZSTD - SNAPPY#### 3.2.4 Batching(批处理)如果批处理开启,producer 将会累积一批消息,然后通过一次请求发送出去。批处理的大小取决于最大的消息数量及最大的发布延迟。#### 3.2.5 Chunking(分块) - 批处理和分块不能同时启用。要启用分块,必须提前禁用批处理。 - Chunking 只支持持久化的主题。...

支持的数据源

华北2(北京) 离线和实时同步模式支持的数据源能力✅:支持可视化模式(同时也支持脚本模式)✔️:仅支持脚本模式 说明 部分数据源支持的表类型、字段类型为非完全模式,请到数据源详细文档进行查阅。详见 配置数据源。... HBase ✅ ✅ ✅ 大数据存储 HDFS ✅ ✅ 大数据存储 Hive(on HDFS) ✅ ✅ ✅ 大数据存储 Hive(on TOS) ✅ ✅ ✅ ✅ 大数据存储 StarRocks ✅ ✅ ✅ ✅ 大数据存储 Doris ...

分布式数据库TiDB的设计和架构

HBase。但此类数据库的局限在于无法处理交易类数据及复杂业务逻辑的特性,限制其在非互联网领域的发展。**2013年以后**2013年以来,有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关... 支持弹性的扩缩容- 支持 SQL,对外暴露 MySQL 的网络协议,并兼容大多数 MySQL 的语法,在大多数场景下可以直接替换 MySQL- 默认支持高可用,在少数副本失效的情况下,数据库本身能够自动进行数据修复和故障转移,...

常见问题

数据库审计功能规格类 数据库审计使用说明有哪些?数据安全审计的部署方式是传统镜像方式部署。每个数据库审计实例仅支持一个 VPC,若要审计多地域、多VPC下的数据资产,需要购买多个数据安全审计。数据库审计服务一次... 2 HighGo 6.0 TDSQL-C MySQL 5.7、8.0 TDSQL-C PostgreSQL 10、14 Percona MySQL 5.6、5.7、8.0 Vastbase 2.x Clickhouse MySQL 所有版本 非关系型 MongoDB 2.x、3.x、4.x、5.x HBase(protobuf) ...

数据库顶会 VLDB 2023 论文解读:Krypton: 字节跳动实时服务分析 SQL 引擎设计

结果通过 ETL 导入到 HBase/ES/ClickHouse 等系统提供在线的查询服务。对于实时链路, 数据会直接进入到 HBase/ES 提供高并发低时延的在线查询服务,另一方面数据会流入到 ClickHouse/Druid 提供在线的查询聚合服务。... 比如上图中 Tablet 2 的 Commit Version 为 Rowset 5 的版本号 21。每个 Query 都会带上数据的版本号从而实现 Snapshot Read。根据不同的合并算法,Krypton 支持了三种表模型:1. Duplicate Table:相同的行...

特惠活动

缓存型数据库Redis

1GB 1分片+2节点,高可用架构
24.00/80.00/月
立即购买

短文本语音合成 10千次

多音色、多语言、多情感,享20款免费精品音色
15.00/30.00/年
立即购买

短文本语音合成 30千次

5折限时特惠,享20款免费精品音色
49.00/99.00/年
立即购买

产品体验

体验中心

云服务器特惠

云服务器
云服务器ECS新人特惠
立即抢购

白皮书

数据智能知识图谱
火山引擎数智化平台基于字节跳动数据平台,历时9年,基于多元、丰富场景下的数智实战经验打造而成
立即获取

最新活动

爆款1核2G共享型服务器

首年60元,每月仅需5元,限量秒杀
立即抢购

火山引擎增长体验专区

丰富能力激励企业快速增长
查看详情

数据智能VeDI

易用的高性能大数据产品家族
了解详情

一键开启云上增长新空间

立即咨询