You need to enable JavaScript to run this app.
火山引擎火山引擎
最新活动合作与生态开发者
文档备案
批式计算 Spark 版
公测中
火山引擎批式计算 Spark 版是基于 Apache Spark 的全托管企业级大数据处理平台,批式计算 Spark 版与火山引擎 VKE/VCI 相结合提供端到端租户安全隔离及 Serverless 极致弹性,满足大数据场景下数据湖分析、实时数仓、离线数仓、BI 数据分析、AI 机器学习等需求
开箱即用企业级全托管批式计算引擎
申请公测
说明文档
功能介绍
全托管Spark为您提供企业级服务
完全兼容生态

100%兼容开源 Spark 生态,迁移成本低;插件化企业级增强,性能优异;增量入湖计算及出湖分析

全托管一站式

全托管 Spark 服务,操作简单易用;开箱即用,免运维

Serverless 弹性

租户级端到端安全隔离,基于火山引擎 VKE/VCI 弹性扩展能力

交互协同

交互式作业执行方式,分析结果可视化展示

企业级安全

基于 OpenLDAP 用户及角色控制,基于 Ranger 的权限管理及审计

大数据及 AI 一体化

火山引擎自研通用深度学习框架,大数据 BI 与 AI 一体化融合计算

功能介绍
全托管Spark为您提供企业级服务
完全兼容生态

100%兼容开源 Spark 生态,迁移成本低;插件化企业级增强,性能优异;增量入湖计算及出湖分析

全托管一站式

全托管 Spark 服务,操作简单易用;开箱即用,免运维

Serverless 弹性

租户级端到端安全隔离,基于火山引擎 VKE/VCI 弹性扩展能力

交互协同

交互式作业执行方式,分析结果可视化展示

企业级安全

基于 OpenLDAP 用户及角色控制,基于 Ranger 的权限管理及审计

大数据及 AI 一体化

火山引擎自研通用深度学习框架,大数据 BI 与 AI 一体化融合计算

产品架构
企业级全托管流式计算引擎完整架构
点击查看完整架构
产品架构
企业级全托管流式计算引擎完整架构
产品优势
批式计算 Spark 版 核心优势
01
高性能
· 更快的流批一体计算引擎
· Delta 查询优化
· TOS 访问加速
02
高可靠
· Schema 校验
· 数据 Time-Travel
· 小文件合并
· ACID 事务性
03
高稳定
· 火山引擎自研 Cloud Shuffle Service
· 大幅提升 Spark 作业性能和稳定性
04
企业级
· Bucket 表自适应优化
· 支持 Range Partition
· AE SkewedJoin 优化
· mergeGetMapValue 优化
05
易用性
· Notebook 交互开发
· 支持 Scala/Python
06
可扩展
· 通用数据存储格式
· 统一控制台
· Serverless 弹性
高性能
· 更快的流批一体计算引擎
· Delta 查询优化
· TOS 访问加速
高可靠
· Schema 校验
· 数据 Time-Travel
· 小文件合并
· ACID 事务性
高稳定
· 火山引擎自研 Cloud Shuffle Service
· 大幅提升 Spark 作业性能和稳定性
企业级
· Bucket 表自适应优化
· 支持 Range Partition
· AE SkewedJoin 优化
· mergeGetMapValue 优化
易用性
· Notebook 交互开发
· 支持 Scala/Python
可扩展
· 通用数据存储格式
· 统一控制台
· Serverless 弹性
应用场景
覆盖流批一体及近实时数据湖场景
流批一体数据处理
批式处理 Spark 提供 Streaming/Batch 流批一体数据处理能力,同时提供结构化、半结构化数据支持,支持自研与开源丰富上下游数据源与数据存储
近实时数据湖
提供 Schema 校验确保数据一致性,数据 Time-Travel,小文件自动优化及 ACID 事务性
应用场景
覆盖流批一体及近实时数据湖场景
流批一体数据处理
批式处理 Spark 提供 Streaming/Batch 流批一体数据处理能力,同时提供结构化、半结构化数据支持,支持自研与开源丰富上下游数据源与数据存储
近实时数据湖
提供 Schema 校验确保数据一致性,数据 Time-Travel,小文件自动优化及 ACID 事务性
客户案例
抖音及穿山甲首选批式处理引擎
抖音短视频
穿山甲
离线 ETL
火山引擎批式计算 Spark承载了字节内部大部分的离线ETL的海量数据处理任务,帮助用户高效构建离线数仓;同时也给BI分析师等业务方提供基于Spark的临时查询服务
机器学习
特征工程是机器学习领域中重要一环,火山引擎Spark在特征提取/离线调研等方面也得到了广泛的应用
离线 ETL
火山引擎批式计算 Spark承载了字节内部大部分的离线ETL的海量数据处理任务,帮助用户高效构建离线数仓;同时也给BI分析师等业务方提供基于Spark的临时查询服务
机器学习
特征工程是机器学习领域中重要一环,火山引擎Spark在特征提取/离线调研等方面也得到了广泛的应用
一键启动火山引擎之旅
联系我们