我参考过许多学习路线的建议,但觉得直接照搬别人的学习顺序未必适合自己。最后结合工作需要和个人经历,我制定了一套适合自己的学习路线:开始学习Linux命令和系统基本概念。然后分别学习Java、Python以及Scala这几种在大数据开发中常用的编程语言。然后着重学习Hadoop核心技术如HDFS和MapReduce;接触数据库Hive后,学习数据流技术Kafka和分布式协调服务Zookeeper。深入研究Yarn和求执行引擎Spark。此外还了解其他技术如HBase、Sqo...
当时我们后端是 Java 语言。从此我就开始了我的 Java 职业旅程。## 初识移动端### H5开始入门首先,我自己是主要做后端 Java 开发,但是业内应该都知道,Java 很卷的,起初,我做过 Jsp 页面的,后来是前后端分离,页... 之前我用的是 VsCode 写页面,这也算是发现新大陆了。主要对于我这种不专业的前端开发人员来说,是一个非常不错的开发神器了。它的特点就是:**入门超级简单**。### 微信小程序开发这里我不得不说这个开发工具真心...
### 背景Java是一种流行的编程语言,验证码是一种常用的网络安全技术。Java发展至今,网上也出现了各种各样的验证码,本人初学Java,下面是我用Java实现短信验证码的总结。### 截图展示![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/76a280ebefad4c828f21e6a00b8d99ea~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714407674&x-signature=Em2bxt0hKNigB6xpZ7ecuylgsMM%3D)##...
HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计算框架平台数据 - Spark,MapReduce 的计算相关数据存储![]()# **字节跳动特色的** **HDFS** **架构**在深入相关的技术细节之前,我们先看看字节跳动的 H... Java 版本的 GC 变得更加频繁,跨子树迁移节点代价过大,节点启动时间太长等问题。因此我们通过重构的方式,解决了 GC,锁优化,启动加速等问题,将原 Name Node 的服务能力进一步提高。容纳更多的元数据信息。为了解决这...
通信框架)开发。本文介绍如何通过控制台申请 Thrift2 连接地址。 注意事项表格数据库 HBase 版提供的 Thrift 地址的协议版本为 Thrift2,Thrift 客户端版本需为 v0.13.0。 操作步骤登录 HBase 控制台。 在顶部菜单栏的左上角,选择实例所属的地域。 在实例列表页,单击目标实例名称。 在实例详情页,单击连接管理页签。 在私网访问区域,单击 Thrift2连接地址后的申请。 在弹出的对话框中,单击确定即可。 后续操作Java 程序通过 Thr...
本文汇总了表格数据库 HBase 版实例支持的功能。 类别 功能 实例管理 变更实例配置 冷热分离 重启实例 修改实例参数 删除或退订实例 实例删除保护 标签管理 连接管理 申请 Thrift2 连接地址 释放 Thrift2 连接地址 开启公网访问 关闭公网访问 使用 Java API 连接实例 使用 HBase Shell 连接实例 监控告警 查看监控数据 设置告警 白名单管理 创建白名单 编辑白名单 绑定实例和白名单 解绑实例和白名单 删除白名单 ...
本文介绍如何使用 HBase Shell 工具连接 HBase 实例。 前提条件如需通过私网地址访问 HBase 实例,需同时满足如下要求:已购 ECS 服务器与 HBase 实例在相同私有网络 VPC 下。ECS 服务器的购买方法,请参见购买云服务器。 已将 ECS 服务器的 IP 地址添加至 HBase 中的白名单中。白名单设置方法,请参见编辑白名单。 如需通过公网地址访问 HBase 实例,需确保运行 Java 工具的设备 IP 地址已加入 HBase 实例的白名单中。白名单设置方法...
本文介绍如何使用 HBase Shell 工具连接 HBase 实例。 前提条件如需通过私网地址访问 HBase 实例,需同时满足如下要求:已购 ECS 服务器与 HBase 实例在相同私有网络 VPC 下。ECS 服务器的购买方法,请参见购买云服务器。 已将 ECS 服务器的 IP 地址添加至 HBase 中的白名单中。白名单设置方法,请参见编辑白名单。 如需通过公网地址访问 HBase 实例,需确保运行 Java 工具的设备 IP 地址已加入 HBase 实例的白名单中。白名单设置方法...
1 HBase基本概念HBase 是一个开源的非关系型分布式数据库,它参考了 Google 的 BigTable 模型,实现语言为 Java。它是 Apache 软件基金会的 Hadoop 项目的一部分,运行在 HDFS 文件系统之上,为 Hadoop 提供类 BigTable 的服务。HBase关键名词说明: 名词 说明 Namespace 命名空间是表的逻辑分组,类似于关系数据库系统中的数据库。这种抽象为即将到来的多租户相关功能奠定了基础。 Table 表是在架构定义时预先声明的。 Row 行键是未解...
表格数据库 HBase 版是一款兼容标准 HBase 访问协议的数据库。本文介绍火山引擎表格数据库 HBase 版创建、配置、连接实例的整体流程,帮助您快速上手使用表格数据库 HBase 版。 准备工作已注册火山引擎账号,并完成实... 连接实例 您可以使用如下方法连接实例: 使用 Java API 连接实例 使用 HBase Shell 工具连接实例 .custom-md-table th:nth-of-type(1) { width: 150px; } .custom-md-tabl...
您可以在控制台上为 HBase 实例申请公网地址,以便 VPC 外的设备来访问 HBase 实例。本文介绍如何申请 HBase 实例的公网地址。 前提条件实例状态需为运行中。 申请公网地址时需要绑定弹性公网 IP(EIP)。您需要先申请... 您可以使用新申请的公网地址来访问 HBase 实例。访问方法请参见如下文档: Java 程序通过 Thrift2 地址访问 HBase 实例 Python 程序通过 Thrift2 地址访问 HBase 实例 使用 Java API 连接实例 使用 HBase Shell 连...
环境信息 系统环境版本 环境 OS veLinux(Debian 10兼容版) Python2 2.7.16 Python3 3.7.3 Java ByteOpenJDK 1.8.0_302 应用程序版本 Hadoop集群 HBase集群 Flume 1.9.0 - OpenLDAP 2.4.58 2.4.58 Ranger 1.2.0 - ZooKeeper 3.7.0 3.7.0 Flink 1.15.1 - HDFS 2.10.2 2.10.2 MapReduce2 2.10.2 - YARN 2.10.2 - Airflow 2.4.2 - Hive 2.3.9 - Hue 4.9.0 - Knox 1.5.0 - Presto 0.267 - Trino 392 - Spark 2.4.8 - Sqoop 1.4.7 - Te...
为提高存储效率,降低存储成本,表格数据库 HBase 版提供字典压缩功能。本文介绍如何开启字典压缩功能。 功能介绍字典压缩(ZSTD_DICT)是 HBase 深度优化的压缩算法,在 ZSTD 压缩算法的基础上进行了字典采样的优化,能... hbase(main):009:0> alter 'tls',{NAME => 'cf', COMPRESSION => 'ZSTD_DICT'}说明 修改表的压缩算法后,数据不会立即进行压缩,若想要存储空间立即下降,您需要手动执行 major_compact 'tableName' 命令。 Java 客...