Spark并非存储系统，其表的工作机制及相关疑问解析

1. 仅安装Spark（无HDFS、Hive）能否创建存储数据的表？ #

可以。Spark自带内置的元数据管理系统（默认基于Derby数据库）和本地文件系统支持，无需依赖HDFS、Hive等外部组件就能创建并管理持久化表。

2. 这类表与DataFrame的区别？ #

• 生命周期与持久化：DataFrame是Spark会话内的临时分布式数据集，会话结束后自动销毁；而表是持久化的，元数据存储在Spark Catalog中，数据可长期保存，跨会话甚至跨Spark实例可访问。
• 元数据管理：表拥有结构化的元数据（列名、类型、存储格式、位置等），由Spark Catalog统一管理；DataFrame是编程接口中的内存对象，没有持久化的元数据记录。
• 访问方式：表可通过SQL语句直接查询（如SELECT * FROM my_table）；DataFrame主要通过代码API（如Scala/Python的DataFrame方法）操作，也可临时注册为视图后用SQL访问，但视图是临时的。

3. 表的存储方式、元数据与实际数据位置？ #

• 元数据存储：默认情况下，元数据保存在Spark内置的Derby数据库中，存储目录为当前运行路径下的metastore_db文件夹。无外部依赖时默认使用Derby作为元存储。
• 实际数据存储：数据默认保存在本地文件系统的spark-warehouse目录（由spark.sql.warehouse.dir配置指定），存储格式默认是Parquet（列式存储），也可指定为CSV、ORC等格式。
• 存储类型区分：
  • 内部表（Managed Table）：由Spark完全管理，数据存储在spark-warehouse目录，删除表时会同时删除数据和元数据。
  • 外部表（External Table）：数据存储在用户指定的路径（本地或其他存储），Spark仅管理元数据，删除表时不会删除数据。

4. 导入CSV后删除原文件，能否读取表中数据？ #

这取决于创建表的方式：

• 方式1：创建内部表并复制数据（如CREATE TABLE my_table AS SELECT * FROM csv. 或 INSERT INTO my_table SELECT * FROM csv.）：
  Spark会将CSV数据复制到内部表的专属存储路径（spark-warehouse下的对应文件夹），此时删除原CSV文件不影响表的读取，数据已持久化到表的存储位置。
• 方式2：创建外部表映射原CSV（如CREATE TABLE my_table USING CSV LOCATION '/path/to/your/csv'）：
  这种表仅存储元数据，实际数据仍依赖原CSV文件，删除原文件后无法读取表数据。此时表的作用更接近带有持久化元数据的视图，但和临时视图的区别是元数据会被Catalog保存，跨会话可用。

内容的提问来源于stack exchange，提问作者PipelineSurfer