视图插入Databricks Delta表后数据结果不一致，求技术解释

将视图A的所有数据插入Databricks的Delta表B后，查询结果出现异常，具体操作及结果如下：

操作步骤与结果 #

1. 查询视图A总行数
   执行语句：

   Select count(*) from A 
   

   结果：102,321

2. 查询视图A中id = '11'的数据
   执行语句：

   Select * from A where id = '11'
   

   结果：

   id	date	unit
   11	2022-09-02	4

3. 执行插入操作（二选一）
   语句1：

   Insert Into B Select * From A
   

   语句2：

   CREATE OR REPLACE TABLE B AS ( SELECT * FROM A)
   

4. 查询Delta表B总行数
   执行语句：

   Select count(*) from B
   

   结果：101,372

5. 查询Delta表B中id = '11'的数据
   执行语句：

   Select * from B where id = '11'
   

   结果：

   id	date	unit
   11	2022-09-02	2

可能的原因分析 #

• 视图底层数据动态变更：视图不存储数据，每次查询都是实时读取底层数据源。如果在查询视图A与插入表B的时间差内，底层数据源发生了记录删除、字段更新，就会导致表B数据和之前视图查询结果不一致——比如id='11'的unit字段被修改，同时有其他记录被删除，造成总行数减少。
• 字段数据类型不匹配：检查视图A和Delta表B的字段类型是否完全一致。例如unit字段若在视图A中是字符串类型，表B中是整数类型，插入时可能发生隐式转换导致值错误；或者id字段的类型差异导致部分记录在插入时被过滤。
• Delta表的Schema约束限制：若Delta表B已存在且开启Schema验证，当视图A的Schema与表B不匹配时，不符合Schema的记录会被自动过滤；若表B存在主键、NOT NULL等约束，视图A中不满足约束的记录会在插入时被丢弃。
• 视图计算逻辑的不确定性：如果视图A包含聚合、去重、无ORDER BY的窗口函数等逻辑，不同时间查询可能因并行计算、数据分区的差异得到不稳定的结果。
• 缓存或元数据延迟：视图A的查询结果若被缓存，而插入操作读取的是最新底层数据，会出现结果偏差；或者Delta表元数据未及时更新，导致count(*)结果不准，可尝试执行REFRESH TABLE B后重新查询。

内容的提问来源于stack exchange，提问作者data-man