什么是批式计算Spark版
最近更新时间：2023.04.23 11:47:57
首次发布时间：2022.01.18 18:52:20
火山引擎批式计算 Spark 版是基于 Apache Spark 的全托管企业级大数据处理平台，与火山引擎 VKE/VCI 相结合，提供端到端租户安全隔离及 Serverless 极致弹性，满足大数据场景下数据湖分析、实时数仓、离线数仓、BI 数据分析、AI 机器学习等需求。
产品架构
产品功能
- 完全兼容生态：100% 兼容开源 Apache Spark，插件化企业级增强；支持增量入湖计算及出湖分析。
- 全托管一站式：提供全托管 Spark 服务，操作简单、开箱即用、免运维。
- Serverless 弹性：拥有基于火山引擎 VKE/VCI 的弹性扩展能力。
- 可视化交互协同：提供低代码、可视化的任务开发页面，执行结果实时打印。
- 企业级安全：基于 IAM 鉴权体系，提供项目和资源级别的角色权限控制。
名词解释
名词 | 说明 |
|---|---|
主账号 | 主账号是资源归属的主体，一般使用用户名作为账号的登录标识。 |
IAM 用户（子用户） | 由主账号创建，被设置密码和访问密钥后，有权限登录控制台，但无操作权限，需要获得项目负责人授权。 |
项目 | 项目是由主账号创建，用于统一管理资源池、任务等资源的项目空间。 |
Spark 资源池 | Spark 资源池是用来管理计算资源的，资源池中的计算资源相互隔离，不会受其他资源池资源消耗影响，独立服务于上线到该资源池中的任务。 |