新版pyspark.pandas的正确使用方式：导入语句应如何调整？

关于PySpark Pandas的导入替换方案说明 #

你提到的全局替换导入语句的思路确实更符合实际迁移场景，Databricks官方博客的表述只是针对单函数导入场景的简化示例，并非通用的迁移标准操作。

• 如果你现有代码中绝大多数pandas调用都采用pd.xxx的别名调用形式，直接将import pandas as pd替换为import pyspark.pandas as pd是改动最小、漏改概率最低的方案，PySpark Pandas已经覆盖了90%以上的常用pandas API，大部分业务代码替换后不需要额外修改逻辑就能直接在Spark分布式引擎上运行。
• 如果你代码中存在从pandas单独导入的其他函数、类，比如from pandas import DataFrame、from pandas import to_datetime，这些导入语句也需要同步替换为从pyspark.pandas导入，否则原生pandas和PySpark Pandas的数据结构不兼容会直接触发报错。
• 需要注意的是，PySpark Pandas并没有100%对齐所有pandas的冷门API，部分API的实现逻辑也和原生pandas存在细微差异，替换导入后如果遇到运行报错，需要对应适配调整这部分逻辑，这也是官方博客表述中没有提及的隐含前提。

两种替换方案没有绝对的优劣，只看适配场景：如果你的代码仅用到了read_csv这一个pandas接口，只改单函数导入即可；如果用到了大量pandas相关功能，全局替换导入别名显然是更合理的选择。

内容的提问来源于stack exchange，提问作者Chuck Connell