如何在sparklyr中跳过Hive外部表的首行？附数据示例

针对你的需求，我整理了两种实用的实现方式，结合你提供的数据特点（首行为列名，Number列存在混合类型值），可以按需选择：

方法1：用sparklyr的spark_read_csv直接创建带跳过首行的Hive外部表 #

这种方式最直观，适合从文本数据源直接生成Hive外部表，同时自动跳过首行（并将其作为列名）：

首先确保你已连接到支持Hive的Spark集群：

library(sparklyr)
# 这里以YARN集群为例，根据你的实际环境调整master参数
sc <- spark_connect(master = "yarn", config = list(spark.sql.catalogImplementation = "hive"))

然后执行创建表的代码，header = TRUE会自动跳过首行并将其作为列名：

# 读取HDFS上的数据源，创建Hive外部表
my_external_table <- spark_read_csv(
  sc,
  name = "your_hive_table_name",  # 替换成你想要的Hive表名
  path = "/hdfs/path/to/your/data/files",  # 替换成你的数据文件在HDFS的路径
  header = TRUE,  # 关键参数：跳过首行，将首行文本作为列名
  infer_schema = FALSE,  # 因Number列存在混合类型，关闭自动推断，手动指定schema
  schema = schema(
    ElemUID = "bigint",
    ElemName = "string",
    Kind = "string",
    Number = "string",  # 先设为字符串，后续可根据需求转换类型
    DaySecFrom_UTC = "timestamp",
    DaySecTo_UTC = "timestamp"
  ),
  hive_table = TRUE,  # 标记为创建Hive外部表
  overwrite = TRUE  # 如果表已存在则覆盖，按需调整
)

如果你的首行不是列名，只是需要单纯跳过第一行数据，把header = TRUE替换成skip = 1即可，同时手动指定列名和schema。

方法2：用Hive SQL语句创建外部表（适合熟悉Hive语法的场景） #

你也可以通过sparklyr执行原生Hive SQL来创建带跳过首行属性的外部表，灵活性更高：

dbExecute(sc, "
CREATE EXTERNAL TABLE your_hive_table_name (
  ElemUID BIGINT,
  ElemName STRING,
  Kind STRING,
  Number STRING,
  DaySecFrom_UTC TIMESTAMP,
  DaySecTo_UTC TIMESTAMP
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' '  # 假设你的数据是空格分隔，根据实际分隔符调整
LOCATION '/hdfs/path/to/your/data/files'
TBLPROPERTIES ('skip.header.line.count'='1')  # 关键属性：告诉Hive跳过首行
")

验证是否成功跳过首行 #

执行以下代码查看表数据，确认首行已被排除：

# 用dplyr快速查看前几行数据
dplyr::collect(dplyr::head(my_external_table))

# 或者用SQL查询
dbGetQuery(sc, "SELECT * FROM your_hive_table_name LIMIT 5")

注意事项 #

你的数据中Number列存在混合值（既有日期格式又有数值），直接自动推断schema会导致类型错误，建议先将其设为string类型，后续再根据业务需求做数据清洗转换。

内容的提问来源于stack exchange，提问作者user60856839