使用Pandas分块读取远程CSV：是否发起多次服务器请求？

你的这段代码只会向服务器发起一次请求。

原因说明： #

当你用pd.read_csv直接传入HTTP URL并指定chunksize时，Pandas底层会先通过单次HTTP请求获取文件的流式数据连接，之后的分块迭代（for chunk in ...）都是在本地对已经下载的数据流片段进行解析，不会重复向服务器发送请求。

TextFileReader对象正是基于这个已建立的数据流来逐块读取内容，整个过程中只会建立一次HTTP连接并完成一次请求，不会因为分块操作额外增加请求次数。

额外提示： #

• 这种分块读取的方式适合处理大文件，既可以避免一次性加载3GB数据到内存导致的内存溢出，又能符合API的请求次数限制。
• 确保目标服务器支持HTTP流式传输（绝大多数公共API和静态文件服务器都支持），这样Pandas可以边下载边解析，无需等待整个文件下载完成。

你的代码示例：

i = 0
for chunk in pd.read_csv("https://website.com/data/v6/file.csv", chunksize=10000):
    i += 1
    chunk.to_csv(f"data{i}.csv")

内容的提问来源于stack exchange，提问作者boyestrous