Azure SQL Database流式作业失败：参考数据存储报错及容器异常

操作错误点 #

1. 参考数据存储容器的理解偏差：参考数据的快照存储是流式作业自动管理的，不需要手动创建对应容器。你手动创建的容器和作业自动生成的容器命名规则不匹配，导致查询无法找到参考数据快照，同时作业尝试写入快照时可能因容器冲突或权限问题触发Error encountered while storing reference data snapshot into the storage account错误。
2. 流输入的用途误解：Blob流输入是用来接收实时流式数据的，不是存储参考数据的载体。你试图将参考数据插入Blob流输入的逻辑本身错误，参考数据仅用于和流数据做关联查询，无需写入流输入容器。
3. 流输入数据缺失：启动作业前Blob流输入容器无实时数据，导致查询返回空结果；作业自动创建的容器是用于参考数据快照的，并非流数据容器，自然不会有流数据流入，最终Power BI输出显示无结果。

修正后的标准操作流程 #

• 创建流式作业，完成基础配置。
• 配置SQL DB参考输入：选择目标SQL表，指定用于存储快照的存储账户（无需手动建容器，作业会自动生成格式为asa-refdata-<作业ID>-<输入名称>-<时间戳>的容器）。
• 配置Blob流输入：选择存储账户和你手动创建的容器，确保该容器有实时数据持续写入（比如从其他服务推送的JSON/CSV数据）。
• 编写关联查询，示例：

SELECT
    Stream.*,
    Ref.Category
INTO
    PBI_Output
FROM
    Blob_Stream_Input Stream
JOIN
    SQL_Ref_Input Ref
ON
    Stream.ProductID = Ref.ProductID

• 配置Power BI输出：指定目标工作区和数据集，确保作业拥有该工作区的写入权限。
• 启动流式作业：作业会自动生成参考数据快照容器，读取Blob流输入的实时数据，关联后推送至Power BI。

更优实现方案 #

• 替换Blob流输入为Azure Event Hubs：针对高吞吐量、低延迟的实时数据场景，Event Hubs的流式处理性能更优，能更好适配流式作业的实时数据接入需求。
• 配置参考数据自动刷新：在参考输入设置中配置刷新间隔（如1小时），作业会自动拉取SQL DB中的最新参考数据，无需手动重启作业。
• 启用诊断日志排查问题：开启流式作业的诊断日志，在Azure Monitor中查看ReferenceData类日志，快速定位快照存储失败的具体原因（如存储账户权限不足、网络防火墙限制等）。
• 统一权限管理：使用托管身份为流式作业授权，确保其拥有SQL DB读取权限、参考数据存储账户的Blob读写权限、流输入存储账户的Blob读取权限，以及Power BI工作区的数据集写入权限。

内容的提问来源于stack exchange，提问作者Kelele Berhe