Python2.7下Pandas全行列显示及大DataFrame合并异常咨询

嘿，我来帮你排查下这个问题～结合你的场景（Python 2.7环境，处理超大DataFrame合并+输出），我整理了几个可能的问题点和修复方案：

一、先修正Pandas的输出配置 #

你当前只设置了expand_frame_repr=False，这只能禁止列自动换行，但没法保证显示所有列和行。如果是要在控制台查看完整内容，需要补充以下配置：

# 显示所有列（None表示不限制数量）
pd.set_option('display.max_columns', None)
# 显示所有行
pd.set_option('display.max_rows', None)
# 禁止列换行
pd.set_option('expand_frame_repr', False)
# 避免列内容被截断
pd.set_option('display.max_colwidth', None)

不过如果只是要写入文件，其实不需要这些显示配置，直接用to_csv会更可靠（后面会说）。

二、处理超大DataFrame合并的内存与效率问题 #

你的b表有1000万行+200列，直接用pd.merge很容易因为内存不足导致合并结果异常，甚至程序崩溃。可以试试这些优化：

• 只读取需要的列：如果不需要b表的所有200列，读取时指定usecols参数，减少内存占用：

  # 示例：只读取连接键和你需要的其他列
  gtex = pd.read_csv("b.txt", sep="\t", usecols=['CHR', 'POS', 'target_col1', 'target_col2'])
  

• 先排序连接键再合并：排序后的DataFrame合并效率更高，也能减少内存压力：

  ct = ct.sort_values(['CHR', 'POS'])
  gtex = gtex.sort_values(['CHR', 'POS'])
  s1 = pd.merge(ct, gtex, how='left', on=['CHR', 'POS'])
  

• 用join替代merge（基于索引）：将连接键设为索引，用join操作有时比merge更高效：

  ct = ct.set_index(['CHR', 'POS'])
  gtex = gtex.set_index(['CHR', 'POS'])
  s1 = ct.join(gtex, how='left').reset_index()  # 重置索引恢复原列
  

三、替换print为to_csv写入文件 #

你用sys.stdout = open("c.txt", "w")+print s1的方式输出大表，很容易出现格式混乱、内容截断的问题——print是为控制台输出设计的，不适合处理超大DataFrame的文件写入。

直接用Pandas的to_csv方法更稳定，还能自定义分隔符：

# 写入文件，index=False表示不输出行索引
s1.to_csv("c.txt", sep="\t", index=False)
# 如果需要逗号分隔，把sep改成","即可

修复后的完整代码 #

import pandas as pd

# 如果需要在控制台查看完整数据，打开以下配置
# pd.set_option('display.max_columns', None)
# pd.set_option('display.max_rows', None)
# pd.set_option('expand_frame_repr', False)
# pd.set_option('display.max_colwidth', None)

# 读取数据，按需选择列减少内存
ct = pd.read_csv("a.txt", sep=",")
# 按需读取b表的列，避免加载不必要的数据
gtex = pd.read_csv("b.txt", sep="\t")  # 可以添加usecols参数优化

# 排序连接键提升合并效率
ct = ct.sort_values(['CHR', 'POS'])
gtex = gtex.sort_values(['CHR', 'POS'])

# 左连接合并
s1 = pd.merge(ct, gtex, how='left', on=['CHR', 'POS'])

# 用to_csv写入文件，稳定可靠
s1.to_csv("c.txt", sep="\t", index=False)

内容的提问来源于stack exchange，提问作者Lucas