Windows本地用Python通过JDBC加载CSV到Hive表时路径非法问题解决

LOAD DATA LOCAL INPATH中的LOCAL指的是HiveServer2所在的Linux服务器本地文件系统，而非你的Windows客户端机器。你指定的Windows路径C:/Users/Docs/file.csv在Linux服务器上不存在，因此触发“路径非法”错误。

以下是几种无需手动上传HDFS的实现方式：

方法1：用Python自动上传文件到HiveServer2后执行LOAD语句 #

通过paramiko库将Windows本地CSV文件上传到HiveServer2的临时目录，再执行LOAD语句指向该路径：

1. 先安装依赖：pip install paramiko
2. 示例代码：

import paramiko
import jaydebeapi

# 上传本地文件到HiveServer2服务器临时目录
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect("你的HS2服务器IP", username="服务器登录账号", password="服务器登录密码")
sftp = ssh.open_sftp()
local_file_path = "C:/Users/Docs/file.csv"
remote_file_path = "/tmp/file.csv"
sftp.put(local_file_path, remote_file_path)
sftp.close()
ssh.close()

# 执行Hive LOAD语句
query = """LOAD DATA LOCAL INPATH '/tmp/file.csv' INTO TABLE default.logstable"""
conn = getConnection()
curr = conn.cursor()
curr.execute(query)
curr.close()
conn.close()

方法2：用Pandas读取本地CSV批量插入Hive表 #

直接读取本地CSV数据，通过JDBC批量插入Hive表，跳过文件上传环节：

1. 先安装依赖：pip install pandas jaydebeapi
2. 示例代码：

import pandas as pd
import jaydebeapi

# 读取本地CSV文件
df = pd.read_csv("C:/Users/Docs/file.csv")

# 连接Hive并执行批量插入
conn = getConnection()
curr = conn.cursor()

# 生成插入语句（需保证CSV列顺序与Hive表结构一致）
columns = ",".join(df.columns)
value_placeholders = ",".join(["%s"] * len(df.columns))
insert_sql = f"INSERT INTO default.logstable ({columns}) VALUES ({value_placeholders})"

# 批量插入数据
curr.executemany(insert_sql, df.values.tolist())
conn.commit()

curr.close()
conn.close()

注：该方式适合中小规模数据，数据量过大时性能会低于LOAD语句。

方法3：修改Hive配置允许客户端路径加载（不推荐生产环境） #

若集群安全策略允许，可修改HiveServer2配置：

• 在hive-site.xml中添加配置：

  <property>
      <name>hive.server2.enable.doAs</name>
      <value>false</value>
  </property>
  <property>
      <name>hive.server2.local.path.validation</name>
      <value>false</value>
  </property>
  

• 重启HiveServer2后，将Windows路径转换为Linux可识别的共享路径（如//localhost/C$/Users/Docs/file.csv，需保证HS2服务器能访问Windows共享目录）

该方式存在安全风险，生产环境不建议使用。

内容的提问来源于stack exchange，提问作者Pavan Sai Aravala