GCP Hive表转Pandas DataFrame：行数骤减与多语言字段异常求助

1. DataFrame仅保留1000行的原因 #

%hive_dataproc魔法命令默认存在返回行数限制（通常为1000行），目的是避免一次性加载大量数据引发内存溢出。你的查询未指定全量返回的配置，因此仅获取了表中前1000行数据，而非全部10000行。

解决办法 #

在魔法命令中添加--max-rows参数指定返回行数，示例如下：

text = %hive_dataproc --max-rows 10000 select * from <table_name>;

若需全量返回，也可将参数值设为远大于表行数的数值（如--max-rows 100000，具体规则可参考该魔法命令的内置说明）。

2. 多语言文本字段仅保留英文的原因 #

这种情况基本由编码不匹配导致：

• Hive表中多语言字段的存储编码非UTF-8，而%hive_dataproc默认使用ASCII或非UTF-8编码读取，导致非英文字符解析失败转为Null；
• 魔法命令在数据传输过程中未指定正确字符编码，造成非英文字符丢失。

解决办法 #

1. 确认Hive表字段编码：检查表结构，确保多语言字段为STRING类型且存储时采用UTF-8编码；
2. 在%hive_dataproc命令中指定编码参数：

text = %hive_dataproc --encoding utf-8 select * from <table_name>;

3. 若上述方法无效，可先将Hive表数据导出为UTF-8编码的文件，再用Pandas读取：

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/hive_export'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
SELECT * FROM <table_name>;

接着用Pandas加载文件：

import pandas as pd
df = pd.read_csv('/tmp/hive_export/000000_0', encoding='utf-8')

内容的提问来源于stack exchange，提问作者Abhirami V S