从你的描述来看：你向现有Hive表加载新数据后，执行select count(1)统计总行数，结果仅对应单个HDFS文件的行数（Hue中统计结果为524288），但MySQL中的源数据总行数为1048576，且HDFS文件浏览器中可见两个大小相近的数据文件，你是通过Hue界面中的「Load Data」类按钮完成的数据加载操作。

核心问题大概率是Hive元数据未正确识别新增文件，或加载操作存在疏漏，下面分步骤帮你排查解决：

可能的原因及对应解决方法 #

1. Hive表元数据未刷新，未识别新增数据文件 #

Hive依赖元数据管理表对应的HDFS文件，若新增文件后未刷新元数据，Hive只会读取旧的文件列表，导致统计不全。

• 解决步骤：
  • 先确认表的存储位置，确保两个数据文件都在正确的目录下：

    DESCRIBE EXTENDED your_table_name;
    

    查看输出中的Location字段，对比HDFS文件浏览器里的文件路径是否完全一致。
  • 若路径正确，执行元数据刷新命令：
    • 若你的表是分区表：

      MSCK REPAIR TABLE your_table_name;
      

    • 若你的表是非分区表：

      REFRESH TABLE your_table_name;
      

  • 刷新后再次执行select count(1);，查看统计结果是否与MySQL一致。

2. 加载数据时仅上传了单个文件 #

从数据量来看，Hive统计的行数刚好是MySQL的一半，可能你在点击加载按钮时，只选择了一个数据文件上传，而非全部需要导入的文件。

• 解决步骤：
  • 重新执行加载操作，确保选中所有从MySQL导出的数据文件，并且选择**Append（追加）**模式（避免覆盖已有的数据文件）。
  • 上传完成后，执行元数据刷新命令，再进行count统计验证。

3. 表的存储格式与上传文件不兼容 #

如果你的Hive表使用了特定存储格式（如ORC、Parquet），而上传的是文本格式文件（如CSV、TSV），可能导致部分文件无法被正确解析，进而不被统计。

• 解决步骤：
  • 查看表的存储格式配置：

    DESCRIBE FORMATTED your_table_name;
    

    查看Storage Information下的InputFormat和OutputFormat，确认上传文件的格式与表要求一致。
  • 若格式不匹配，需将文件转换为表对应的格式后再上传，或修改表的存储格式（不推荐，可能影响已有数据的读取）。

验证操作 #

完成上述调整后，你可以通过以下方式验证：

• 执行select * from your_table_name limit 10;，查看是否能读取到两个文件中的数据。
• 再次执行select count(1);，对比结果与MySQL的总行数是否一致。

内容的提问来源于stack exchange，提问作者Javier Muñoz