使用Numpy转换数组生成DataFrame时遭遇字符限制问题

在使用Numpy转换数据时遇到字符限制相关问题，VS Code调试器报错：

SyntaxError('invalid syntax', ('<string>', 1, 1, '<str_, len() = 67>'))

同时当某列数据文本过长时，转换后生成的DataFrame显示异常（出现...截断）。当前数据格式如下：

row_table_data = [["Column1Header", "Column2Header", "Column3Header"], ["Column1DataA", "Column2DataA", "Column3DataA"], ["Column1DataB", "Column2DataB", "Column3DataB"], ["Column1DataC", "Column2DataC", "Column3DataC"]]

目标是通过Pandas将其转为表头对应数据的标准表格，当前实现代码：

import numpy as np
import pandas as pd

column_headers = row_table_data[0]

wanted_table_data = []
for i in range(1, len(row_table_data)):
    wanted_table_data.append(row_table_data[i])

wanted_table_data = np.asarray(wanted_table_data)
dataframe = pd.DataFrame(wanted_table_data, columns=column_headers)
print(dataframe)

短文本数据时输出正常：

Column1Header Column2Header Column3Header
0  Column1DataA  Column2DataA  Column3DataA
1  Column1DataB  Column2DataB  Column3DataB
2  Column1DataC  Column2DataC  Column3DataC

长文本时DataFrame显示异常：

Column1Header  ... Column3Header
0  Column1DataA  ...  Column3DataA
1  Column1DataB  ...  Column3DataB
2  Column1DataC  ...  Column3DataC

问题原因 #

问题出在np.asarray()的转换步骤上。Numpy处理长度不一致的字符串时，会默认将数组的dtype设为固定长度的字符串类型（比如'<U67'，代表最大长度67的Unicode字符串），当字符串超过这个长度时会被截断，甚至在调试时触发语法错误提示。Pandas打印时的...截断，根源也是Numpy转换时的固定长度限制。

更优实现方法 #

完全不需要借助Numpy，Pandas本身可直接处理列表格式的数据，代码可大幅简化：

import pandas as pd

# 直接用表头行作为columns，数据行从索引1开始切片
dataframe = pd.DataFrame(row_table_data[1:], columns=row_table_data[0])
print(dataframe)

这种处理方式的优势：

• 避免Numpy固定长度字符串的限制，Pandas会自动识别为可变长度字符串类型，不会截断长文本
• 代码更简洁，省去循环和Numpy转换步骤，效率更高
• 调试时不会出现因Numpy字符串类型导致的语法错误提示

如果需要关闭Pandas的打印截断，可添加以下设置：

pd.set_option('display.max_columns', None)  # 显示所有列
pd.set_option('display.max_colwidth', None)  # 显示完整列内容
print(dataframe)

内容的提问来源于stack exchange，提问作者RD274