如何用Pig Latin加载::分隔的数据？PigStorage参数是什么

嘿，这个场景我之前处理过，给你讲清楚怎么操作～

首先直接上可用的加载代码，再拆解关键细节：

完整加载示例 #

假设你的文本文件路径是/user/hadoop/your_data.txt，结合你给出的示例数据，我们可以给每个字段定义合适的别名和类型，加载语句如下：

-- 加载数据，指定::作为字段分隔符
data = LOAD '/user/hadoop/your_data.txt' USING PigStorage('::') 
       AS (id: int, serial_num: int, type_code: int, flow_id: long);

-- 快速验证加载结果是否正确
DUMP data;

关键要点拆解 #

• PigStorage的必填参数：这是你最关心的部分——必须把你的字段分隔符::用单引号括起来，作为参数传给PigStorage。因为PigStorage默认使用制表符作为字段分隔符，不指定自定义分隔符的话，字段会被错误拆分。
• 字段类型的灵活定义：AS后面的括号里是每个字段的别名和数据类型，你可以根据实际数据调整（比如如果流水号是带字母的字符串，就改成chararray）；要是不确定类型，也可以暂时不指定，后续再通过CAST转换或者其他操作处理。
• 记录分隔的小提示：默认情况下PigStorage会把每一行当作一条记录。如果你的文件像示例那样用空格分隔多条记录，建议先把文件整理成每行一条记录的格式；如果必须保留原格式，也可以通过PigStorage的第二个参数指定记录分隔符：PigStorage('::', ' ')，但这种方式容易引发后续处理的问题，尽量不用。

验证结果 #

运行DUMP data;后，你应该能看到每条记录被正确拆分成4个字段，输出类似：

(124,2345,3,647483)
(234,5940,3,939390)
(340,3492,3,948284)

如果是这样，就说明加载成功啦。

内容的提问来源于stack exchange，提问作者Rao