如何高效加载Pandas DataFrame的索引且无需加载整个DataFrame？

嘿，我太懂你处理大型DataFrame时想只加载索引的痛点了——加载整个数据集不仅慢，还占内存！你之前用usecols=[0]没达到预期，其实是因为这个参数只是最后保留指定列，但Pandas还是会扫描整个文件来解析每行的结构，所以看起来像是在加载全量数据。下面给你几个真正高效的解决方案：

针对CSV/文本格式文件 #

• 精准加载索引列
  直接配合index_col和usecols参数，让Pandas只读取并解析你需要的索引列，不会把其他列加载到内存：

import pandas as pd

# 假设索引是第一列，指定index_col=0同时仅加载该列
df_index = pd.read_csv('your_large_file.csv', index_col=0, usecols=[0])
# 提取最终需要的索引对象
target_index = df_index.index

这样操作后，你得到的只有索引数据，内存占用会大幅降低。

• 超大型文件分块读取
  如果文件大到单步读取都吃力，用chunksize分块处理，逐步收集索引：

import pandas as pd

index_list = []
# 每次读取10000行的索引列，可根据内存调整chunksize值
for chunk in pd.read_csv('your_large_file.csv', index_col=0, usecols=[0], chunksize=10000):
    index_list.extend(chunk.index)
# 转换成Pandas标准索引对象
target_index = pd.Index(index_list)

这种方式每次只处理一小部分数据，内存压力几乎可以忽略。

针对Parquet/Feather等列式存储文件 #

这类文件天生支持列级读取，效率比文本文件高得多，直接指定索引列即可：

import pandas as pd

# 读取指定的索引列，再转换为索引对象
df_index = pd.read_parquet('your_large_file.parquet', columns=['your_index_column_name'])
target_index = df_index.set_index('your_index_column_name').index

如果你的文件已经把目标列标记为索引，还可以更简洁：

target_index = pd.read_parquet('your_large_file.parquet', columns=['your_index_column_name']).index

备注：内容来源于stack exchange，提问作者Wassim Jaoui