「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品** 的功能迭代、重点功能介绍、平台最新活动、技术干货文章等多个有趣、有料的模块内容。双月更新,您可通过关注「字节跳动数据平... “通用 -MySQL 数据库”;Serverless Flink SQL 支持快照和重启、Session集群调试能力;Flink SQL支持 Jar 包形式;基于ByteHouse CE 任务及临时查询; - **数据安全:** 支持 EMR StarRocks 库表权限申请、授权管...
## 实验名称云服务器自定义镜像导入## 实验介绍本期实验练习介绍了如何向火山引擎导入一个自定义镜像文件,并转换为镜像。在开始实验前需要先进行如下准备工作:- TOS对象存储中创建存储桶- 安装VirtualBox虚拟... disable-ec2-metadata - runcmdcloud_final_modules: - rightscale_userdata - scripts-per-once - scripts-per-boot - scripts-per-instance - scripts-user - ssh-authkey-fingerprints -...
支持SparkSQL跨队列提交作业、细粒度作业资源隔离、动态资源分配和引擎预热。 支持集成Hue工具。 支持OpenLDAP和Ranger的用户身份认证和权限控制。 支持读取TOS Hadoop 客户端新增读写TOS数据的能力;Hive可使用TOS作为数据存储介质。 支持多种方式访问TOS:自定义配置方式配置AK/SK、环境变量配置AK/SK和对VEECSforEMRRole角色授权TOS访问权限。 Hadoop、Presto 和 Trino 类型集群提供更加友好的权限管理支持,体现在: Ra...
Hive等作业开发(不包括Flink引擎相关的开发)。 【组件】支持HDFS、YARN HA(高可用)模式,当Master节点上一个实例挂掉时,服务仍可正常运行。 【组件】支持读取TOS、CFS: Hadoop 客户端新增读写TOS数据的能力;Hive可使用TOS作为数据存储介质。 支持多种方式访问TOS:自定义配置方式配置AK/SK、环境变量配置AK/SK和对VEECSforEMRRole角色授权TOS访问权限 【组件】基于Ranger提供HDFS、YARN、Hive组件的权限访问控制。 已知问题高...
创建集群 使用场景调用 CreateCluster,创建一个 E-MapReduce(EMR)集群。 注意事项已拥有火山引擎账号并开通 EMR 权限。 请求说明请求方式:POST请求地址:https://open.volcengineapi.com/?Version=2023-08-15&Actio... "EcsIamRole": "VEECSforEMRRole"} node全局属性 ZoneIdString是zoneId EcsIamRoleString是ecs上绑定的的iam role name。 NodeGroupAttributesArray of NodeGroupAttribute是{"ZoneId": "cn-beijing-b","SubnetIds...
子账号开通EMR产品 主账号/拥有EMRFullAccess/AdministratorAccess权限的子账号可以登陆EMR控制台进行云资源访问授权 自定义部署拓扑支持Celeborn组件 Celeborn Worker 允许部署在独立Core和Task节点 支持... EMR-V3.9.0 新增功能【组件】HBase组件中新增ThriftServer服务。 更改、增强和解决的问题【组件】Spark组件版本由3.3.3升级为3.5.1。 【组件】StarRocks组件版本由3.1.6升级为3.2.3,支持Assume role方式访问对象...
EMR-3.9.0发布说明新增功能【组件】HBase组件中新增ThriftServer服务。 更改、增强和解决的问题【组件】Spark组件版本由3.3.3升级为3.5.1。 【组件】StarRocks组件版本由3.1.6升级为3.2.3,支持Assume role方式访问... openldap 2.5.13 后台认证以及用户数据权限管控服务。 ranger_admin 2.3.0 Ranger安全管理的中心接口服务。 ranger_usersync 2.3.0 拉取用户和组的Ranger服务。 spark_jobhistoryserver 3.5.1 用于查看完整的 Spa...
Ranger组件中支持role和user创建和删除功能。 【组件】Proton版本升级到1.6.1,完善CLI命令行并修复若干bug 遗留的问题【组件】Kerberos环境下采用Hive cli方式访问Iceberg失败 组件版本 下面列出了 EMR 和此版本... openldap 2.5.13 后台认证以及用户数据权限管控服务。 ranger_admin 2.1.0 Ranger安全管理的中心接口服务。 ranger_usersync 2.1.0 拉取用户和组的Ranger服务。 spark_jobhistoryserver 3.3.3 用于查看完整的 Spa...
1 前提条件已完成IAM跨服务授权: 首次登录 EMR 详情页会提示完成针对(ECS、VPC、EIP等)跨服务授权。 通过右上角用户 > 访问控制 > 角色管理右上角搜索栏搜索 "EMR"关键字,确认 “ ServiceRoleForEMR ” 角色生效... 被选中的组件会默认启动相关的服务。 元数据选择 集群中包含 Hive、Ranger、Airflow 等组件时,需设置元数据存储。 内置数据库:仅限使用在测试场景下,本地 MySQL 数据库部署在 EMR 集群单节点中,不能保证服务高可用...
1 接口说明名称: CreateCluster使用场景: 调用 CreateCluster,创建一个 E-MapReduce(EMR)集群。前置条件: 已拥有火山引擎账号并开通 EMR 权限。详见:API概述 。 2 请求参数RequestParam:TOP公共参数:POSTAction=Cr... ServiceNames Array N EMR 集群需要安装的可选服务名称,必选服务不需要传入 FLUME Configs Array N EMR 集群自定义配置: ServiceName String Y EMR 集群自定义配置的服务名称,如需要自定义服务配置,则 ...
服务账号授予名称为 ServiceRoleForEMR 的系统默认策略。 说明 ServiceRoleForEMR:EMR服务默认使用该角色访问依赖的火山其他云服务,使用EMR您需要对以下权限进行授权:ECS(云服务器)、VPC(私有网络、安全组)、EIP(... RDS-Mysql(数据库)等。 3 子用户授权对于需要登录 EMR 控制台,并使用控制台上功能的用户,首先需要在访问控制中,创建并授予子用户相应的权限: 主账号登录 EMR 控制台。 右上角个人信息中,单击访问控制 > 用户, 进...