EMR & Spark 3.0搭配S3无需高价企业方案实现行级过滤是否可行

可以在不购买昂贵企业级方案的前提下实现该需求，你提到的限制仅为EMR官方集成Ranger的能力边界，以下是完全适配你当前环境约束的开源方案：

• 自定义Spark SQL切面自动注入过滤规则
  基于Spark原生的QueryExecutionListener接口开发轻量拦截逻辑，在用户提交SQL执行前自动解析查询对象，根据预配置的用户-行权限映射规则（可存储在MySQL、DynamoDB或S3配置文件中），自动为涉及的表追加行过滤条件，无需修改业务侧代码。如果采用Delta/Hudi/Iceberg等开源表格式存储数据，还可直接复用表格式原生的行级过滤能力，实现逻辑更轻量化。
• 部署开源Kyubi组件作为Spark接入层
  Apache Kyubi原生支持Spark 3.x/EMR 6.x版本，内置完整的细粒度访问控制能力，可直接配置行级过滤、列级脱敏规则，兼容S3存储的各类数据格式，无需依赖Ranger或付费企业组件，只需在EMR集群上部署Kyubi服务即可开箱使用。
• 轻量权限UDF封装方案
  抽象统一的行权限校验UDF，将行过滤逻辑封装为公共函数，业务查询时通过select * from table where permission_udf(user_id, region) = true的方式调用，规则迭代只需更新UDF逻辑即可，开发成本极低，适合内部场景使用。

以上方案均不受Lake Formation不支持EMR 6.x、Hive不可用的约束，可直接在你的现有环境中落地。

内容的提问来源于stack exchange，提问作者VB_