如何从HDFS导入含MySQL INSERT语句的SQL文件至Impala外部表？

首先明确结论：直接在Impala中执行HDFS里的900GB INSERT语句是不可行的。原因很简单——单条INSERT操作的开销极大，900GB的脚本意味着数百万甚至数亿条单独的插入命令，这会把集群资源彻底耗尽，执行时间可能长达数天，完全不适合大数据量场景。下面给你几个更高效的替代方案，以及针对Hive大小写问题的解决办法：

一、最优方案：提取INSERT数据并转换为批量存储格式 #

既然你的目标是把数据导入Impala外部表，没必要纠结于执行INSERT语句，不如直接从SQL脚本中提取数据，转换成Impala友好的列式存储格式（比如Parquet或ORC），再加载到表中：

1. 数据提取：
   根据SQL脚本的结构，选择合适的工具提取INSERT INTO ... VALUES (...)里的实际数据：

   • 若SQL结构简单，用awk/sed写轻量级脚本处理：

     # 示例：提取VALUES后的内容，去掉括号和多余符号（需根据你的SQL格式调整）
     hdfs dfs -cat hdfs://path/to/your/file.sql | awk -F'VALUES' '{print $2}' | sed 's/[()]//g' > extracted_data.csv
     

   • 大数据量或复杂SQL场景，推荐用Spark处理：
     编写Spark代码读取HDFS上的文本文件，每行解析出INSERT语句中的数据字段，映射到你的表schema，然后直接写入Impala外部表对应的HDFS目录（因为是外部表，写入后执行REFRESH your_table;即可让Impala识别数据）。

2. 批量加载：
   把提取后的数据保存为Parquet/ORC格式（Impala对这两种格式的查询和加载性能最优），然后：

   • 如果数据已经写入外部表的HDFS路径，直接执行REFRESH your_table;
   • 或者用Impala命令批量插入：

     INSERT INTO your_table SELECT * FROM parquet.hdfs://path/to/your/data.parquet;
     

二、如果坚持用SQL脚本执行的替代方式 #

1. 调整Hive配置解决大小写问题 #

你提到Hive要求插入字段全小写，其实这是可以通过配置修改的：

• 在Hive的hive-site.xml中添加或修改以下配置：

  <property>
    <name>hive.case.sensitive</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
  

  开启大小写敏感后，Hive就能识别你非小写的字段了。之后可以用Hive的source命令执行HDFS上的SQL脚本：

  source hdfs://path/to/your/file.sql;
  

  但必须提醒：900GB的INSERT脚本在Hive中执行效率依然极低，仅适合小数据量场景，大数据量不推荐。

2. 用Spark SQL并行执行INSERT语句 #

Spark的并行处理能力比Hive强，可以尝试用Spark读取SQL文件并批量执行，但同样，单条INSERT的开销还是很大，远不如直接转换数据格式高效。

三、总结 #

• 直接执行900GB INSERT脚本：不可行，效率极低，资源消耗大
• 最优选择：提取数据转换为Parquet/ORC格式批量加载，适配Impala的大数据处理能力，性能最佳
• Hive大小写问题：通过开启hive.case.sensitive=true解决，但仅适合小数据量SQL执行场景

内容的提问来源于stack exchange，提问作者Sumeet Jain