无HDFS SSH权限时，如何用Impala等生成类SQL Server sys的Hive元数据视图？

作为经常处理大数据元数据需求的开发者，我可以明确告诉你：Hive是三者里的首选，完全适配你的需求（无HDFS SSH权限），原因和具体实现如下：

为什么Hive是最优选择？ #

• 原生元数据支持：Hive本身就是围绕Hive Metastore构建的，内置了information_schema体系，这些视图的结构和SQL Server的sys视图逻辑高度对齐——比如information_schema.tables对应SQL Server的sys.tables，information_schema.columns对应sys.columns，不需要额外开发就能快速映射。
• 无需HDFS权限：Hive的元数据查询直接通过Metastore服务完成，完全不涉及底层HDFS文件操作，刚好满足你没有HDFS SSH访问权限的限制。
• SQL语法兼容：用熟悉的SQL语法就能创建和查询自定义视图，和SQL Server的使用习惯一致，学习成本几乎为零。

为什么不选Impala？ #

• Impala虽然能复用Hive的元数据，但它的核心定位是OLAP快速查询，对元数据的支持是依附于Hive的，没有自己独立的元数据视图体系。如果你的环境中Impala和Hive的元数据同步有延迟，还会出现查询结果不一致的问题。
• 元数据查询的语法细节和Hive有差异，适配起来反而不如直接用Hive顺手。

为什么不选Pig？ #

• Pig是数据流导向的ETL工具，不是SQL类查询引擎，它的设计目标是处理大规模数据转换，而非便捷的元数据查询。要实现类似sys视图的功能，你需要编写复杂的Pig Latin脚本调用Metastore API，开发和维护成本极高，完全不符合需求的简洁性要求。

具体实现示例 #

你可以直接基于Hive的information_schema创建自定义视图，模拟SQL Server的sys视图：

模拟sys.tables视图 #

CREATE VIEW sys_tables AS
SELECT 
  table_catalog AS database_name,
  table_schema AS schema_name,
  table_name,
  create_time AS create_date,
  table_type
FROM information_schema.tables
WHERE table_schema NOT IN ('information_schema', 'sys'); -- 排除系统库

模拟sys.columns视图 #

CREATE VIEW sys_columns AS
SELECT
  table_catalog AS database_name,
  table_schema AS schema_name,
  table_name,
  column_name,
  ordinal_position AS column_id,
  data_type,
  character_maximum_length AS max_length
FROM information_schema.columns
WHERE table_schema NOT IN ('information_schema', 'sys');

这样创建的视图就能像SQL Server的sys视图一样，方便你查询Hive Metastore中的库、表、列等元数据信息。

内容的提问来源于stack exchange，提问作者Christian DiMare