使用Power BI可视化Azure HDInsight中HBase及VNet下直连操作咨询

Power BI 完全支持对接部署在Azure VNet内的HDInsight集群，无需额外搭建中间数据中转服务，仅需满足对应的网络打通要求即可完成连接。
由于VNet内部署的HDInsight默认不会对公网开放访问端点，因此无法直接让Power BI云服务直连，必须通过自托管数据网关做网络层的转发打通，这是唯一的强制前置要求，没有其他额外的架构限制。
前置校验条件：

• 自托管网关的部署位置必须与HDInsight集群同VNet，或和HDInsight所在VNet完成对等互联，可正常解析HDInsight集群的内部服务域名
• 网关安装账号需具备对应Power BI租户的管理权限，可正常为连接器授权
• HDInsight集群上的HBase服务REST API（默认端口8080）处于正常运行状态，无服务本身的访问拦截

1. 前置自托管数据网关配置 #

• 在满足网络连通要求的Azure VM上安装Power BI自托管数据网关，安装过程中使用具备Power BI租户管理员权限的账号完成网关注册
• 网关安装完成后，在Power BI管理面板的网关配置页，开启「HDInsight HBase」连接器的使用授权，允许网关调用对应服务接口
• 连通性校验：在部署网关的VM上手动测试访问HBase REST接口，确认无NSG、防火墙规则拦截访问

2. Power BI端数据源连接配置 #

• 打开Power BI Desktop，依次选择「获取数据」->「Azure服务」->「Azure HDInsight HBase」连接器
• 按要求填写连接参数：
  • 服务器地址：填写VNet内可解析的HDInsight HBase内部服务地址，不要使用公网可访问的集群域名
  • 认证配置：选择HDInsight账号认证方式，输入具备HBase只读权限的Ambari账号、密码
  • 网关配置：在连接设置的高级选项中，指定数据查询的执行节点为之前部署的自托管网关，避免Power BI云服务尝试直接访问VNet内地址导致连接失败
• 完成参数填写后执行连接测试，可正常拉取HBase的表清单即代表连接配置生效

3. HBase数据可视化操作 #

• 从加载的HBase表清单中选中目标分析表，选择「转换数据」进入Power Query编辑器完成适配清洗：
  • 拆解HBase原生返回的列族嵌套结构，将嵌套的属性值展开为结构化的维度、指标字段
  • 针对大表场景，提前在查询中配置基于RowKey的过滤规则，实现查询下推，降低全量拉取的性能消耗
• 清洗完成后将数据加载到Power BI数据集模型中，按需配置维度关联、计算度量值，即可搭建对应可视化报表：
  • 存储时序类数据的HBase表可直接对接时间轴图表，展示指标变化趋势
  • 存储业务明细数据的HBase表可直接对接卡片、条形图、分布地图等组件，完成业务数据展示

• 连接报错时优先排查网络层：确认NSG规则没有拦截网关VM到HDInsight Headnode的8080、443端口流量
• 数据加载性能差时，避免在Power BI侧做全表扫描，尽量把过滤条件下推到HBase侧执行，利用RowKey特性缩小查询范围
• 元数据加载失败时，检查对应Ambari账号的权限，确认账号已被授予HBase服务的只读访问权限，无权限拦截问题

内容的提问来源于stack exchange，提问作者Angela Wong