Azure Data Explorer能否复用同一数据连接向多表导入数据？

可以复用同一个Event Grid（Blob Storage）数据连接为所有表导入数据，不需要为每个表/CSV单独创建数据连接，核心是通过Blob命名规则+ADX摄入映射/动态路由来实现自动匹配。

具体实现方式 #

• 统一Blob命名/目录规则
  给CSV文件设置可识别的命名规范，比如：

  • 文件名包含表名：employee_202405.csv、salary_202405.csv
  • 用虚拟目录（Blob前缀）区分：employee/employee.csv、salary/salary.csv

• 配置数据连接的动态路由
  在ADX创建Event Grid数据连接时，通过以下方式实现自动匹配对应表：

  1. 基于Blob前缀路由：在数据连接的"数据源"设置中，添加多个"容器+前缀"规则，每个前缀对应一个ADX目标表和对应的摄入映射（Ingestion Mapping）。比如前缀employee/对应Employee表和Employee_CSV_Mapping，前缀salary/对应Salary表和Salary_CSV_Mapping。
  2. 基于文件名动态匹配：如果用文件名包含表名的方式，可以在数据连接的摄入命令中使用动态参数，比如通过KQL的extract函数从文件名中提取表名，再结合ingest into命令动态指定目标表。示例逻辑：

     let tableName = extract(@"^(\w+)_", 1, @FileName);
     ingest into table (tableName) with (format='csv', ingestionMappingReference=concat(tableName, '_CSV_Mapping'))
     

• 配置对应摄入映射
  确保每个ADX表都创建了匹配CSV列的摄入映射（比如CSV格式的映射，指定列顺序、数据类型等），这样数据连接能自动调用对应映射完成数据匹配导入。

注意事项 #

• 确保Event Grid的事件订阅规则覆盖所有需要导入的Blob（比如筛选.csv后缀的文件），或者按前缀过滤目标文件。
• 数据连接的服务主体需要拥有存储账户的Blob Data Contributor权限，以及ADX数据库的Ingestor权限。
• 可以通过ADX的.show ingestion failures命令查看导入日志，排查匹配或权限问题。

内容的提问来源于stack exchange，提问作者Pathrudu