You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
火山引擎首页
全站搜索
K
开源的对象存储服务器

开源的对象存储服务器

icon

对象存储

基于先进分布式技术，帮助用户灵活高效、稳定可靠的存储并管理海量非结构化数据
产品详情页申请试用说明文档

社区干货

后 Hadoop 时代,字节跳动如何打造云原生计算平台

各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先前十分繁荣的 Hadoop,还是后来涌现出来的 Kafka、Flink 等,都被广泛地使用着。十多年来,这些系统经历了多轮技术洗礼,我们也随之需要根据新的技术潮流不断地调整甚至做技术转型。以 Hadoop 三大组件来说,计算引擎 MapReduce 基本被 Spark 取代。在数据上云的时代,对象存储也取代了一部分 HDFS 文件系统。近几年,云原生又火了起来,行业里再次开始了对大数据...

技术

Apache Pulsar 在火山引擎 EMR 的集成与场景

火山引擎中 Stateless 云原生开源大数据平台 E-MapReduce(简称 EMR)为用户提供了云上的端到端的大数据解决方案。与此同时,Apache Pulsar 的一个十分重要的特性也是云原生。先进的存算分离的架构使其非常适合在云化... 火山引擎 EMR 通过存算分离把集群内部的数据外置到云存储中,如火山引擎对象存储 TOS,不再依赖用户集群内部的 HDFS。此外,通过外置 Hive Metastore、Public History Server、作业管理、配置中心等产品和技术方案,进...

云原生

Bio-OS 开源开放大赛—论文复现示例

在Bio-OS中数据可以上传到Workspace所对应的对象存储中(创建Workspace时会创建一一对应的对象存储桶),并通过配置密钥实现Notebook对对象存储的直接访问。1. 进入Workspace,点击【数据】-【文件列表】1. 选择文件进行上传![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/66d8c1479def489bb27388741ead5478~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098872&x-signat...

动手实验室

年终学习大礼包|云原生大数据知识地图

云原生日志搜索和统一存储 HDFS 等核心组件,支持存算分离和自动调优;* 资源调度层支持统一计算资源调度和统一引擎云原生生命周期管理。一大支撑体系是 **运维管理平台**,是集开源组件、服务生命周期、集群、... 但此时计算存储是单独管理的。 **存算分离负载** :* 降低扩缩容和数据 Rebalance 时间:云原生数据湖、数据仓、消息队列、搜索引擎如果支持存算分离的部署模式,将存储放在统一的大数据文件存储或对象存储上,这...

技术

特惠活动

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗，加速分发更实惠
￥2.00/年20.00/年
立即购买

2核4G共享型云服务器

Intel CPU 性能可靠，不限流量，学习测试、小型网站、小程序开发推荐，性价比首选
￥86.00/年1908.00/年
立即购买

视频云ImageX媒资存储50G

分布式存储，可靠性高，全链路图像服务
￥1.00/6月24.07/6月
立即购买

开源的对象存储服务器-优选内容

搭建Ceph
Ceph是一种开源分布式文件系统,具有高可靠、自动重均衡、灵活扩展等特点,支持对象存储、块存储以及文件存储。本文为您介绍如何搭建Ceph。 Ceph充分利用节点的计算能力,通过Crush算法计算文件位置,使数据均衡分布,避... 实践规划本最佳实践通过火山引擎云服务器、私有网络、公网NAT网关等产品进行 Ceph 部署,本文中相关产品规划如下: 产品或服务 本文示例 备注 私有网络 名称:ceph...
云服务器部署Ceph
关于 CephCeph 是一种开源分布式文件系统,具有高可靠、自动重均衡、灵活扩展等特点,支持对象存储、块存储以及文件存储。Ceph 充分利用节点的计算能力,通过 Crush 算法计算文件位置,使数据均衡分布,避免单点故障问题... 实践规划本最佳实践通过火山引擎云服务器、私有网络、NAT 网关等产品进行 Ceph 部署,本文中相关产品规划如下: 产品或服务 本文示例 备注 私有网络 名称:ceph-vp...
IDC共享云上对象存储服务
若希望通过私网连接区分云服务的类型和存储桶对象,请使用接口终端节点泛域名功能。 通过接口终端节点访问TOS服务时,私网连接默认放通目标VPC访问TOS服务的所有流量。若希望通过私网连接控制VPC访问存储桶的范围,请使用网关终端节点。 具体组网场景如下图所示。 前提条件已创建私有网络VPC、子网及其云服务器,具体操作请参见创建私有网络和购买云服务器实例。 云下IDC需通过私网连接访问对象存储服务时,请确保已完成云下IDC与云上...
产品架构
产品架构EMR产品架构如下: 基础设施: 基于火山引擎云服务器(ECS)、公网IP(EIP)、弹性块存储(EBS)、对象存储(TOS)、私有网络(VPC)为EMR提供弹性扩展、高可靠、高性能、安全隔离的部署环境。 数据存储: HDFS分布式文件系统支持海量结构化和非结构化数据存储,支持多种高效格式满足不同分析引擎要求,同时对接TOS对象存储,实现高可用低成本数据存储。支持Hudi、Iceberg、Delta Lake等多种数据湖存储格式,助力企业构建数据湖解决方案。...

开源的对象存储服务器-相关内容

读取云原生消息引擎 BMQ 数据写入对象存储 TOS

您需要在对象存储控制台创建存储桶和文件夹。 开发 Flink SQL 任务。当您准备好数据源和数据目的后,便可以在流式计算 Flink 控制台开发 SQL 任务,通过简单的代码实现从 BMQ Topic 中读取数据写入到 TOS Bucket。 ... 请参见开源文档Filesystem-Rolling Policy。 一个任务中,如果存在一个表同时作为 source 和 sink,调试的时候会报错Table:xxx should not be both source and sink.。建议您直接验证 SQL 正确性,确保无误后可直接上...

来自：文档

后 Hadoop 时代,字节跳动如何打造云原生计算平台

各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先前十分繁荣的 Hadoop,还是后来涌现出来的 Kafka、Flink 等,都被广泛地使用着。十多年来,这些系统经历了多轮技术洗礼,我们也随之需要根据新的技术潮流不断地调整甚至做技术转型。以 Hadoop 三大组件来说,计算引擎 MapReduce 基本被 Spark 取代。在数据上云的时代,对象存储也取代了一部分 HDFS 文件系统。近几年,云原生又火了起来,行业里再次开始了对大数据...

来自：开发者社区

Apache Pulsar 在火山引擎 EMR 的集成与场景

火山引擎中 Stateless 云原生开源大数据平台 E-MapReduce(简称 EMR)为用户提供了云上的端到端的大数据解决方案。与此同时,Apache Pulsar 的一个十分重要的特性也是云原生。先进的存算分离的架构使其非常适合在云化... 火山引擎 EMR 通过存算分离把集群内部的数据外置到云存储中,如火山引擎对象存储 TOS,不再依赖用户集群内部的 HDFS。此外,通过外置 Hive Metastore、Public History Server、作业管理、配置中心等产品和技术方案,进...

来自：开发者社区

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗，加速分发更实惠
￥2.00/年20.00/年
立即购买

2核4G共享型云服务器

Intel CPU 性能可靠，不限流量，学习测试、小型网站、小程序开发推荐，性价比首选
￥86.00/年1908.00/年
立即购买

视频云ImageX媒资存储50G

分布式存储，可靠性高，全链路图像服务
￥1.00/6月24.07/6月
立即购买

Bio-OS 开源开放大赛—论文复现示例

在Bio-OS中数据可以上传到Workspace所对应的对象存储中(创建Workspace时会创建一一对应的对象存储桶),并通过配置密钥实现Notebook对对象存储的直接访问。1. 进入Workspace,点击【数据】-【文件列表】1. 选择文件进行上传![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/66d8c1479def489bb27388741ead5478~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098872&x-signat...

来自：开发者社区

年终学习大礼包|云原生大数据知识地图

云原生日志搜索和统一存储 HDFS 等核心组件,支持存算分离和自动调优;* 资源调度层支持统一计算资源调度和统一引擎云原生生命周期管理。一大支撑体系是 **运维管理平台**,是集开源组件、服务生命周期、集群、... 但此时计算存储是单独管理的。 **存算分离负载** :* 降低扩缩容和数据 Rebalance 时间:云原生数据湖、数据仓、消息队列、搜索引擎如果支持存算分离的部署模式,将存储放在统一的大数据文件存储或对象存储上,这...

来自：开发者社区

ECS 云服务器自定义镜像导入

## 实验名称云服务器自定义镜像导入## 实验介绍本期实验练习介绍了如何向火山引擎导入一个自定义镜像文件,并转换为镜像。在开始实验前需要先进行如下准备工作:- TOS对象存储中创建存储桶- 安装VirtualBox虚拟... 执行:qw保存修改。```bashusers:- default disable_root: 0ssh_pwauth: 1growpart: mode: auto devices: ['/'] ignore_growroot_disabled: falsemount_default_fields: [~, ~, 'auto', 'def...

来自：开发者社区

大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台

各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先前十分繁荣的 Hadoop,还是后来涌现出来的 Kafka、Flink 等,都被广泛地使用着。十多年来,这些系统经历了多轮技术洗礼,我们也随之需要根据新的技术潮流不断地进行调整甚至做技术转型。以 Hadoop 三大组件来说,计算引擎 MapReduce 基本被 Spark 取代。在数据上云的时代,对象存储也取代了一部分 HDFS 文件系统。近几年,云原生又火了起来,行业里再次开始了对大...

来自：开发者社区

火山引擎上云迁移指南(二):迁移实施

可以帮您把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到火山引擎云服务器上,从而帮助您轻松地把服务器上的应用和数据迁移到火山引擎。云主机数据涉及两部分:系统镜像盘和数据盘的迁移。此外,火山引擎即将... 用于管理云存储上的文件。它是云供应商Web存储界面的功能丰富的替代方案。超过40种云存储产品支持rclone,包括S3对象存储,业务和消费者文件存储服务以及标准传输协议。- **文件迁移工具对比** | | 并发迁移 |...

来自：开发者社区

乘风破浪的云原生

数万台服务器规模、EB 级数据稳定存储的企业服务经验。 这个三月,字节跳动火山引擎开发者社区将举办第一期线上 Meetup。我们邀请到了火山引擎的一线研发工程师,向开发者社区展示字节跳动背后的云原生基础设施及实践... 火山引擎研发工程师 Redis 是广泛使用的开源、高性能 Key-Value 数据库,提供了丰富的数据结构;Kubernetes 是自动部署、扩展和管理容器化应用程序的系统。随着 Kubernetes 技术的推广和普及,越来越多的服务开始基于...

来自：文档

特惠活动

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗，加速分发更实惠
￥2.00/年20.00/年
立即购买

2核4G共享型云服务器

Intel CPU 性能可靠，不限流量，学习测试、小型网站、小程序开发推荐，性价比首选
￥86.00/年1908.00/年
立即购买

视频云ImageX媒资存储50G

分布式存储，可靠性高，全链路图像服务
￥1.00/6月24.07/6月
立即购买

产品体验

体验中心

云服务器特惠

云服务器
云服务器ECS新人特惠
立即抢购

白皮书

从ClickHouse到ByteHouse
关于金融、工业互联网，都有对应的场景特性、解决策略、实践效果具体呈现，相信一定能解决你的诸多疑惑
立即获取

相关主题

开源的api网关开源的api网关对比开源的api网关有哪些开源的白名单URL域名列表？开源的C#库，用于将ECEF转换为WGS84速度（地速）开源的cms建站系统开源的Cura切片软件存在哪些问题？这些问题对于用户使用有何影响？开源的devops平台开源的对象存储开源的对象存储服务

最新活动

爆款1核2G共享型服务器

首年60元，每月仅需5元，限量秒杀
立即抢购

火山引擎增长体验专区

丰富能力激励企业快速增长
查看详情

数据智能VeDI

易用的高性能大数据产品家族
了解详情

热门访问

K & R C 变量名称K 产品阵列K Framework - 玩具语言的困惑K Framework在OCaml后端产生了一个错误。k 均值算法如何实现颜色压缩K Max池化是什么？如何在Keras中实现它？K Means聚类更新分配K&R 4.2的atof函数K&R C 编程语言 - 逆波兰计算器K&R C 书中关于 scanf 如何处理格式字符串中的空格和制表符的问题。

一键开启云上增长新空间

立即咨询