我们做了一些尝试:首先是存储,使用OSS等对象存储替代了HDFS。其次就是计算,也是本篇文章将要介绍的,将Spark计算任务从Yarn迁移至K8S上运行。# 最初的尝试spark-thrift-server考虑到我们服务的客户数据量都不是很大,并且在数据相关的场景中都是基于SQL来实现。上半年我们在离线业务中首先选择了spark-thrift-server。spark-thrift-server的本质其实就是一个Spark Application,和我们单独提交Spark Jar包任务到集群是一样的,也...
为此火山引擎云存储团队推出了存储迁移服务,将其他云服务商或自建对象存储中的数据,方便快捷地迁移到**火山引擎对象存储 TOS**中。火山引擎存储迁移服务具有以下功能:* **多种数据源**:支持国内外主流云厂商对象存储及其他兼容S3协议的对象存储;* **免输密钥**:当源端/目的端为火山引擎 TOS 时,无需输入密钥,不存在密钥泄露风险;* **自定义限速**:可自定义不同时段的传输带宽速度,以减小对源站的业务影响;* **增...
随着云计算的高速发展和广泛使用,越来越多的用户构建了混合云或者多云架构,跨云的数据迁移及数据同步成为常见的业务场景,而传统的通过命令行工具或脚本进行数据传输的方法,存在迁移速度慢、实施成本高、易用性差等缺陷,为此火山引擎云存储团队推出了存储迁移服务,能够将其他云服务商或自建对象存储中的数据方便快捷地迁移到火山引擎对象存储TOS中。火山引擎存储迁移服务具有以下功能:- **多种数据源**:支持国内外主流云厂商...
对象存储 Android SDK 是否支持访问CDN地址来下载对应bucket的资源呢?还有就是是否支持通过https协议来访问CDN地址呢
火山引擎对象存储 TOS(Tinder Object Storage)是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。您可以通过 RESTful API 接口、SDK 和工具等多种形式使用火山引擎 TOS。通过网络,您可以在任何应用、任何时间、任何地点管理和访问火山引擎 TOS 上的数据。 产品优势规模海量 火山引擎 TOS 通过自研分布式对象存储技术,通过领先的架构与技术支持,目前内部部署对象存储机器万台规模,存储规模超过 EB。传...
本文将介绍如何通过私网连接服务将火山引擎对象存储服务共享给本地IDC。 场景介绍云上VPC或云下IDC通过私网连接服务可以安全地访问云上的对象存储服务(Tinder Object Storage,简称TOS),同时能够避免多云场景下,不同云厂商之间云服务地址冲突的问题。 云服务指由云厂商提供的云上公共服务,火山引擎提供的云服务部署在100.64.0.0/10网段,例如TOS服务。 本文为您介绍使用私网连接打通TOS服务时不同场景的的配置指导。 终端节点服务与...
私网连接(PrivateLink)通过终端节点和终端节点服务建立私密的网络连接,实现不同VPC对服务资源的私网访问,避免了公网访问潜在的安全风险,为您提供更加安全的组网方式。 当前仅支持创建接口类型终端节点服务,此功能发布后,用户可以创建网关终端节点并设置访问策略,控制允许/拒绝特定VPC的流量访问特定存储桶。 网关终端节点特性如下: 私网访问对象存储TOS服务路径 网关终端节点(Gateway Endpoint) 服务名称 com.volces.privatelink...
本文将介绍如何配置私网连接,可以通过自定义域名访问火山引擎对象存储服务。 说明 自定义域名功能正在邀测中,如需使用,请联系客户经理。 场景介绍通过私网连接访问对象存储服务(TOS)默认使用HTTP协议和终端节点域名,如果您希望通过对象存储原有域名访问,或者希望通过私网连接可以使用HTTPS协议访问TOS服务,则需要配置私有DNS名称。 前提条件终端节点服务已启用私有DNS名称且已验证通过。如无法为接口终端节点开启私有DNS名称,请...
云服务平台 地域 可用区 ID 火山引擎 华北 可用区1 cn-beijing 如您对于其他地域和可用区的服务有需求,请提交工单联系我们。 ByteHouse 支持哪些数据源进行导入?当前 ByteHouse 云数仓版支持如下数据源的导入 类型 数据源 备注 离线导入 文件传输 文件小于 200 MB 时适用 离线导入 火山引擎对象存储 TOS 适用于大文件离线导入 离线导入 阿里云对象存储 OSS 适用于跨云大文件离线导入 离线导入 AWS 对象存储...
为了给您提供更优质的服务并合法保障您的权益,对象存储将于 2023 年 7 月 10 日变更服务等级协议。 生效日期2023 年 7 月 15 日 变更说明服务等级变更点如下所示: 术语和定义:优化了有效请求和失败请求的场景说明。 服务可用性:明确了存储类型的冗余条件。 赔偿方案:明确了存储类型的冗余条件。 服务等级协议地址最新的服务等级协议地址,请参见对象存储服务等级协议(SLA)。
本文介绍如何创建对象存储类型存储卷和存储卷声明,以及工作负载如何使用对象存储静态存储卷。 前提条件已创建容器服务集群,操作方法参见 创建集群。 确保当前集群已安装对象存储服务组件 csi-tos。操作方法,请参见 安装组件。 已创建存储桶。操作方法,请参见 创建存储桶。 确保指定命名空间下已经存在合适的密钥,创建密钥所需的火山引擎账号 AK/SK 获取方法参见:如何获取 API 访问密钥。 使用限制有状态负载需要独占一个卷,暂不支...
我们做了一些尝试:首先是存储,使用OSS等对象存储替代了HDFS。其次就是计算,也是本篇文章将要介绍的,将Spark计算任务从Yarn迁移至K8S上运行。# 最初的尝试spark-thrift-server考虑到我们服务的客户数据量都不是很大,并且在数据相关的场景中都是基于SQL来实现。上半年我们在离线业务中首先选择了spark-thrift-server。spark-thrift-server的本质其实就是一个Spark Application,和我们单独提交Spark Jar包任务到集群是一样的,也...
本节主要介绍使用容器服务(VKE)时如何选择存储(对象存储、文件存储、弹性快存储)类型以及选择时的注意事项。 存储说明不同的业务类型,需要选择不同的存储类型以匹配业务需要,以下内容将对火山引擎提供的存储类型的差异、主要使用场景进行说明。 存储类型 说明 优势 弹性块存储 弹性块存储 EBS(Elastic Block Storage)又称为云盘,是火山引擎提供的高可用、高可靠、高性能、弹性扩展的块存储设备,可以作为云服务器和弹性容器服务的...