PySpark读取远程Windows服务器CSV文件报UnsupportedFileSystemException错误

错误原因 #

你遇到的UnsupportedFileSystemException: No FileSystem for scheme "null"错误，核心原因是Hadoop默认不支持Windows SMB共享的UNC路径格式（//myip/D$/my/path）。Hadoop无法识别这种无协议标识的路径，导致无法找到对应的文件系统实现，从而抛出scheme为null的错误。

解决方案 #

方法1：使用SMB协议路径访问 #

Hadoop有专门的SMB文件系统实现（hadoop-smbfs），先确保Spark的classpath中包含该依赖包，然后将路径格式改为带SMB协议的URL：

# 替换为实际的用户名、密码、IP和路径
spark.read.csv("smb://username:password@myip/D$/my/path")

注意：如果密码包含特殊字符（如@、#、&），需要进行URL编码（比如@换成%40）。

方法2：将远程共享挂载为本地磁盘 #

在Windows系统中，把远程共享路径挂载成本地盘符，让Spark像访问本地文件一样读取：

1. 打开命令提示符，执行挂载命令：

net use Z: \\myip\D$ /user:domain\username your_password

2. 之后直接用本地盘符路径读取：

spark.read.csv("Z:/my/path")

这种方式不需要修改Hadoop或Spark的配置，简单直接。

方法3：配置Hadoop核心参数 #

修改Hadoop的core-site.xml文件，添加SMB文件系统的配置项，让Hadoop默认支持SMB协议：

<property>
    <name>fs.smb.impl</name>
    <value>org.apache.hadoop.fs.smb.SmbFileSystem</value>
</property>
<property>
    <name>fs.smb.server</name>
    <value>myip</value>
</property>
<property>
    <name>fs.smb.user</name>
    <value>your_username</value>
</property>
<property>
    <name>fs.smb.password</name>
    <value>your_password</value>
</property>

配置完成后，你可以用简化的SMB路径访问：

spark.read.csv("smb://D$/my/path")

额外注意事项 #

• 确保运行Spark的用户账号，拥有访问远程Windows共享路径的权限（包括网络访问权限和文件读写权限）。
• 如果使用hadoop-smbfs，要注意依赖包的版本与你的Hadoop/Spark版本兼容。

内容的提问来源于stack exchange，提问作者Carlos Godoi