You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

云存储上海交通大学openstack

基于云原生的自研混合云平台,与火山引擎公有云采用统一架构,高效智能

社区干货

字节跳动10万节点 HDFS 集群多机房架构演进之路

# **背景**## **现状**HDFS 全称是 Hadoop Distributed File System,其本身是 Apache Hadoop 项目的一个模块,作为大数据存储的基石提供高吞吐的海量数据存储能力。自从 2006 年 4 月份发布以来,HDFS 目前依然有... **数据管理**:即 DataNode,负责存放用户的实际数据,前面提到 NameNode 一个功能是管理数据块的位置信息,在具体实现上,NameNode 不会持久化这些块的信息,而是靠 DataNode 主动汇报来维护。到目前为止,HDFS 集...

Katalyst Memory Advisor:用户态的 K8s 内存管理方案

将冷内存换出到相对廉价的存储设备上,或通过 zRAM 将其压缩,从而节省内存空间,提高内存资源利用率。该特性的技术细节将在后续的技术文章中进行介绍。 **04** **总结** ... 地点:上海跨国采购会展中心![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/02d457c6997a44329e04d8db20b2969f~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=...

字节跳动10万节点HDFS集群多机房架构演进之路

**01****背景****现状**### HDFS 全称是 Hadoop Distributed File System,其本身是 Apache Hadoop 项目的一个模块,作为大数据存储的基石提供高吞吐的海量数据存储... 负责存放用户的实际数据,前面提到 NameNode 一个功能是管理数据块的位置信息,在具体实现上,NameNode 不会持久化这些块的信息,而是靠 DataNode 主动汇报来维护。 到目前为止,HDFS 集群的多机房架构相关的...

「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.03

提供源自字节跳动最佳实践的一站式 EB 级海量数据存储计算和交互分析能力,兼容 Spark、Presto、Flink 生态,帮助企业轻松构建智能实时湖仓。**火山引擎云原生开源大数据E-MapReduce**Stateless 云原生开源大数据... 上线华东上海 Region。- **【更新EMR软件栈** **】** - 新增软件栈 EMR v3.1.0:ClickHouse 独立集群生产发布,EMR Pulsar 组件新增 Pulsar Manager。 - 新增软件栈 EMR v2.1.0:新增 Hadoo...

特惠活动

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

云存储上海交通大学openstack-优选内容

新功能发布记录2024.4
华东2(上海)、华南1(广州)、华北3(北京)(需开白) 几个地域发布。 功能 说明 开放状态 相关文档 预付费资源组计费改造 资源组中的每一台机器和每一种规格的云盘都生成独立订单。 缩减部分机器时,惩罚金额的计算范围不再是所有机器,仅对缩减的数量进行惩罚。 下线存量资源组的更配入口,改为在资源组详情页的机器和云盘列表中提供对应的新增规格及扩缩容的入口。 需开白 - 资源组的资源、网络及存储的配置优化 支持多VPC配...
已停售的实例规格
448GiB 存储 支持极速型SSD云盘,最多可挂载16块云盘(包含一块系统盘) 存储I/O性能与计算规格相关,规格越高,性能越强 网络 最大网络带宽:80Gbit/s 最大网络收发包:1000万PPS 小规格实例的网络性能具备突发能力 ... 和华东2(上海)地域提供通用型弹性裸金属ebmg2i实例规格。 特点 类型 性能 计算 处理器:采用第三代英特尔® 至强® 可扩展处理器(Ice Lake),主频2.3GHz,全核睿频3.0GHz 处理器与内存配比为1:4 存储 支持极速型S...
2024年03月
多个值可用array_string字段类型存储,如[“厦门分行”,“杭州分行”,“上海分行”]。即可实现用户属于多部门的标识管理。 新增 操作日志权限变更历史查询逻辑优化。 更新后,权限增删改查操作将上报至审计日志,管理员可在操作日志中回溯历史权限变更的所有记录,保证数据安全性。 优化 在通道配置与管理方面,本次优化了多项能力,主要包括: 外置Hive通道配置: 新增了外置Hive通道的应用配置。 通道复制功能: 第三方通道支持...
新功能发布记录
抢占式实例类型的节点池底层使用云服务器侧弹性伸缩(Auto Scaling)服务,统一容器服务节点池底层到基于 Auto Scaling 服务。 华北 2 (北京) 2024-05-13 无 华南 1 (广州) 2024-05-13 华东 2 (上海) 2024-05-14 容器使用与节点相同的时区 容器(Container)使用节点本地所属时区的 CST(Central Standard Time)时区。解决了获取系统时间用于日志记录、数据库存储等相关操作时,容器内时区不一致问题。 华北 2 (北京) 2024-05-13 无 华南...

云存储上海交通大学openstack-相关内容

新功能发布记录

在云监控设置快照事件告警规则后,当符合规则的快照事件发生时,您可以及时收到告警通知。关于快照支持的事件,请参见弹性块存储支持的告警事件。 全部 公测 创建事件规则 2024年04月10日序号 功能 功能描述 发布地域... 华东2(上海) 邀测 通用型弹性裸金属ebmg3i 2 邀测上线高主频内存型弹性裸金属ebmhfr3i实例。 华北2(北京) 邀测 高主频内存型弹性裸金属ebmhfr3i 3 3代实例g3i/c3i/r3i支持搭载第五代Intel EMR处理器。 全部 商...

新功能发布记录

帮助用户零改造迁移上云,无门槛容器化。欢迎体验。 全部 2024-02-06 应用托管 Node.js 编译环境版本升级 使用公共资源池进行 Node.js 编译构建或单元测试时,新增支持 20.11.0 版本。 全部 2024-02-06 公共资源... 支持将流水线的构建产物上传至火山引擎的 TOS 进行存储。 全部 2023-12-14 TOS 上传 应用托管能力增强 【邀测·申请试用】 应用托管支持以弹性容器实例方式部署。用户无需管理底层 ECS 等资源,应用实例数可弹性伸...

字节跳动10万节点 HDFS 集群多机房架构演进之路

# **背景**## **现状**HDFS 全称是 Hadoop Distributed File System,其本身是 Apache Hadoop 项目的一个模块,作为大数据存储的基石提供高吞吐的海量数据存储能力。自从 2006 年 4 月份发布以来,HDFS 目前依然有... **数据管理**:即 DataNode,负责存放用户的实际数据,前面提到 NameNode 一个功能是管理数据块的位置信息,在具体实现上,NameNode 不会持久化这些块的信息,而是靠 DataNode 主动汇报来维护。到目前为止,HDFS 集...

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

RunInstances

快照支持创建新云盘,“创建中”、“回滚中”、“删除中”及“错误”状态下的快照不支持创建新云盘。 该功能当前仅华东2(上海)地域发布,其它地域陆续上线中,敬请期待。 NetworkInterfaces.N.SubnetId String... 当前存储池容量不足。 500 InternalError An internal error has occurred. 内部错误,请重试。如果多次尝试失败,请提交工单。

Katalyst Memory Advisor:用户态的 K8s 内存管理方案

将冷内存换出到相对廉价的存储设备上,或通过 zRAM 将其压缩,从而节省内存空间,提高内存资源利用率。该特性的技术细节将在后续的技术文章中进行介绍。 **04** **总结** ... 地点:上海跨国采购会展中心![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/02d457c6997a44329e04d8db20b2969f~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=...

字节跳动10万节点HDFS集群多机房架构演进之路

**01****背景****现状**### HDFS 全称是 Hadoop Distributed File System,其本身是 Apache Hadoop 项目的一个模块,作为大数据存储的基石提供高吞吐的海量数据存储... 负责存放用户的实际数据,前面提到 NameNode 一个功能是管理数据块的位置信息,在具体实现上,NameNode 不会持久化这些块的信息,而是靠 DataNode 主动汇报来维护。 到目前为止,HDFS 集群的多机房架构相关的...

「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.03

提供源自字节跳动最佳实践的一站式 EB 级海量数据存储计算和交互分析能力,兼容 Spark、Presto、Flink 生态,帮助企业轻松构建智能实时湖仓。**火山引擎云原生开源大数据E-MapReduce**Stateless 云原生开源大数据... 上线华东上海 Region。- **【更新EMR软件栈** **】** - 新增软件栈 EMR v3.1.0:ClickHouse 独立集群生产发布,EMR Pulsar 组件新增 Pulsar Manager。 - 新增软件栈 EMR v2.1.0:新增 Hadoo...

数智化转型背景下的火山引擎大数据技术揭秘

火山引擎在上海举办了春季 FORCE 原动力大会,正式提出了“数据飞轮”的数字化建设模式。现如今,越来越多的企业也正围绕数据进行深度的价值挖掘,用数据全方位地驱动业务增长。如何让数据“说话”,更好的帮助企... 基于对象存储的存算分离架构,在提升系统稳定性,提高资源利用率,降低运维成本的同时,在大数据量分析场景下也面临着一些核心挑战:HDFS与对象存储之间的语义差异;存算分离之后带来的较大性能损耗。EMR团队针对...

云原生大数据 Meetup|云原生时代下的数据计算基础设施

随着云原生基础设施的普及,大数据系统如何丝滑地云原生化已经成为**不可逆的趋势**。6 月 10 日,**火山引擎云原生计算**和**稀土掘金开发者社区**将在上海举行一场技术 Meetup,邀请四位来自字节跳动大数据基础设施研发专家分享他们在**数据计算基础设施实际应用中的经验和见解**,帮助开发者更好地理解**各个技术的优势和应用场景**。**⏰** **活动时间:** 2023 年 6 月 10 日(周六)⛳️ **活动地点:** 上海市徐汇区古美路152...

特惠活动

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

产品体验

体验中心

云服务器特惠

云服务器
云服务器ECS新人特惠
立即抢购

白皮书

中国云原生安全市场现状与趋势白皮书
云原生安全成为企业全面实施云战略的保障随着云计算成为千行百业数字化转型的核心驱动力,企业上云的步伐不断加速,云上开发已成为企业构筑数字化业务的首选。
立即获取

最新活动

爆款1核2G共享型服务器

首年60元,每月仅需5元,限量秒杀
立即抢购

火山引擎增长体验专区

丰富能力激励企业快速增长
查看详情

数据智能VeDI

易用的高性能大数据产品家族
了解详情

一键开启云上增长新空间

立即咨询