Databricks中OpenCSV Serde Hive表执行show create table报错如何解决
可行解决方案
- 方案1:直接使用Hive兼容语法执行查询
Databricks专门提供了Hive兼容的SHOW CREATE TABLE扩展语法,只需在原有命令末尾添加AS HIVE即可正常返回建表语句,无需修改原有表结构:SHOW CREATE TABLE db_name.table_name AS HIVE; - 方案2:重建表为Databricks原生CSV格式
如果你需要让表完全兼容Databricks原生语法,推荐放弃OpenCSV Serde,改用Databricks原生的CSV数据源建表,性能更优且完全支持原生SHOW CREATE TABLE命令,参考DDL如下:CREATE TABLE db_name.table_name( col1 String, col2 String ) USING CSV OPTIONS ( path 's3://s3_loc', sep ',', quote '"', escape '"', nullValue '' ) - 方案3:通过描述命令获取表配置
如果不需要标准DDL输出,也可以执行DESCRIBE EXTENDED命令获取表的全部配置信息:DESCRIBE EXTENDED db_name.table_name;
报错根因说明
Databricks默认的SHOW CREATE TABLE返回的是适配Databricks Runtime的SQL语法,未对Hive生态的org.apache.hadoop.hive.serde2.OpenCSVSerde等第三方Serde做兼容解析,所以会抛出该异常,属于已知的Hive与Databricks SQL的语法差异,并非环境配置错误。
内容的提问来源于stack exchange,提问作者Vinitkumar
相关产品推荐
相关产品推荐

