如何为Spark创建的视图添加表和字段注释

Spark 本身不支持通过 ALTER VIEW 语句修改视图的表或字段注释，Impala 也不支持对视图执行 ALTER TABLE 操作来添加注释。正确的做法是在创建视图时直接指定注释，以下是具体实现方式：

1. 使用SparkSQL语句创建带注释的视图 #

在创建视图的SQL语句中，通过 COMMENT 关键字同时指定表级注释和字段级注释：

CREATE OR REPLACE VIEW test_v
COMMENT '测试视图：存储物品的名称与颜色信息'
(
    name COMMENT '物品的名称',
    colour COMMENT '物品的颜色'
)
AS SELECT name_t, colour_t FROM my_table;

执行这条语句后，视图的表注释和字段注释会被直接写入元数据（如Hive Metastore）。

2. 使用PySpark API创建带注释的视图 #

如果需要通过DataFlow方式创建视图，可以先为DataFrame的Schema添加注释，再生成视图：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType

# 初始化SparkSession
spark = SparkSession.builder.appName("ViewWithComments").enableHiveSupport().getOrCreate()

# 读取源表数据
source_df = spark.table("my_table").select("name_t", "colour_t")

# 定义包含注释的新Schema
view_schema = StructType([
    StructField("name", StringType(), nullable=True, comment="物品的名称"),
    StructField("colour", StringType(), nullable=True, comment="物品的颜色")
])

# 将源DataFrame转换为带注释Schema的DataFrame
commented_df = spark.createDataFrame(source_df.rdd, schema=view_schema)

# 创建永久视图并添加表注释
commented_df.createOrReplaceTempView("temp_test_v")
spark.sql("CREATE OR REPLACE VIEW test_v COMMENT '测试视图：存储物品的名称与颜色信息' AS SELECT * FROM temp_test_v")

3. Impala中查看注释的注意事项 #

Impala无法修改视图注释，但只要Spark创建视图时已正确写入注释，执行以下命令刷新Impala元数据后，即可在Impala中查看视图的注释：

INVALIDATE METADATA test_v;

内容的提问来源于stack exchange，提问作者user3735871