Power BI以DirectQuery模式连接Cloudera私有云Hive/Spark的方案咨询

方案1：采用Impala作为中间查询层（首选推荐） #

• 完全符合Cloudera官方支持规范，规避了非官方支持的Spark Thrift Server、Hive LLAP组件，也无需使用不支持DirectQuery的ODBC连接
• Cloudera CDP私有云原生支持Impala服务，默认共享集群统一元数据，Hive/Spark加工完成的表无需额外同步操作即可直接被Impala访问
• Power BI官方提供的Impala连接器原生支持DirectQuery模式，对接时仅需填写Impala Daemon连接地址、集群认证信息，选择DirectQuery模式即可实现实时数据查询

方案2：部署Trino（Presto）作为中转查询引擎 #

• 适用于集群未部署Impala的场景，独立部署的Trino可直接对接CDP的Hive元数据，读取底层Hive/Spark生成的表数据
• Power BI官方Trino连接器支持DirectQuery模式，查询请求由Trino路由到底层存储，无需访问非官方支持的Thrift服务
• 需自行适配CDP集群的认证体系（Kerberos、Ranger权限控制等），额外维护Trino服务的运行稳定性

方案3：自定义API接口适配 #

• 部署本地Power BI数据网关，开发轻量查询API层，通过Cloudera官方支持的Hive JDBC驱动提交查询请求到集群
• Power BI端采用Web连接器对接自定义API，配置DirectQuery模式后，可将前端的查询请求转发至API层提交到集群，获取实时返回结果
• 该方案需要自行实现查询转换、权限校验、异常处理逻辑，开发和维护成本相对较高

内容的提问来源于stack exchange，提问作者lke