ADX中能否用.set/.append/.replace合并表数据及标签使用咨询

关于.append命令的使用 #

• 完全可以用.append命令将表A的历史数据导入表B，且不会丢失表B的现有实时数据。.append的核心作用就是把查询结果追加到目标表末尾，不会覆盖或删除原有数据。
• 但要注意：.append本身不会自动检测或去除重复数据。如果要检查表B中是否存在重复，你需要自行处理：
  • 事前：可以在追加前先对比表A和表B的数据，比如用join找出重复行再过滤；
  • 事后：可以用查询语句查找重复，比如根据唯一标识（比如timeseries+timestamp）分组，筛选出计数大于1的行：

    Table B
    | summarize count() by timeseries, timestamp
    | where count_ > 1
    

  • 也可以给表B设置重复数据删除策略（ingestion policy），不过这个策略仅对后续摄入的数据生效，需要提前配置。

关于代码中tags标签的解释 #

你提供的这段代码：

.append Table B with(tags='["TagA","TagB"]') <| 
   Table A
   | where timestamp between (datetime(2022-08-01T09:00:00.000Z) .. datetime(2022-08-31T11:00:00.000))
   | project timeseries, value, timestamp, scaled_value

这里的tags是摄入标签（Ingestion Tags），属于元数据范畴：

• 作用：给本次从表A筛选后追加到表B的这批历史数据打上标记，方便后续区分不同批次的数据（比如和实时摄入的数据做区分）。
• 使用场景：后续你可以通过标签来查询、管理这批数据，比如：
  • 查看表B中带有特定标签的数据：

    Table B
    | where ingestion_tags has "TagA"
    

  • 在数据清理、权限控制时，也可以基于标签来操作特定批次的数据。
• 注意：这些标签只属于本次追加的这批数据，不会覆盖表B中原有数据的标签，每次执行.append时都可以根据需要指定不同的标签。

内容的提问来源于stack exchange，提问作者Pratibha Verma