Pig新手求助：统计文件A模板在文件B中的出现次数

嘿，作为Pig新手遇到这个需求太正常了——毕竟Pig的思维和传统命令式循环完全不一样，它是基于数据流处理的，得换个思路才能搞定。我结合你的示例一步步给你讲清楚：

先明确需求（对应你的示例） #

• 模板文件A（file2.txt）：每行是一个待统计的短语（比如hi mohit、hi assaad）
• 数据文件B（file1.txt）：包含连续的文本内容，需要统计每个模板短语在其中的出现次数
• 预期输出：每个模板短语及其对应的出现次数（比如hi mohit:2、hi assaad:1）

实现步骤（基于Pig Latin） #

1. 加载并处理数据文件 #

首先我们要把数据文件的文本拆分成单词，再生成和模板长度匹配的连续短语（你的示例里模板都是2个单词，所以生成连续两个单词的组合）：

-- 加载数据文件，读取每行文本
DataRaw = LOAD 'file1.txt' AS (line: chararray);

-- 把每行按空格拆分成单个单词，扁平化输出所有单词
DataWords = FOREACH DataRaw GENERATE FLATTEN(TOKENIZE(line)) AS word;

-- 给每个单词添加全局索引，方便生成连续的单词对
DataRanked = RANK DataWords;

-- 关联当前单词和下一个单词（通过索引+1），得到单词对
DataPairs = JOIN DataRanked BY rank, DataRanked BY rank+1;

-- 将单词对拼接成和模板格式一致的短语
DataPhrases = FOREACH DataPairs GENERATE CONCAT($1, CONCAT(' ', $3)) AS phrase;

2. 加载模板文件 #

-- 加载模板文件，每行作为一个独立的模板字符串
Templates = LOAD 'file2.txt' AS (template: chararray);

3. 匹配并统计次数 #

通过关联操作找到所有匹配的短语，再按模板分组统计出现次数：

-- 关联短语和模板，只保留完全匹配的记录
MatchedRecords = JOIN DataPhrases BY phrase, Templates BY template;

-- 按模板分组，统计每组的记录数（即该模板的出现次数）
FinalResult = FOREACH (GROUP MatchedRecords BY template) 
              GENERATE group AS template, COUNT(MatchedRecords) AS occurrence_count;

-- 把结果存储到指定路径
STORE FinalResult INTO 'template_count_output';

扩展场景：模板长度不统一的情况 #

如果你的模板文件里有不同长度的短语（比如有的是1个单词，有的是3个），需要先给每个模板标记长度，再按长度分组处理：

-- 加载模板并计算每个模板的单词数量
TemplatesWithLen = FOREACH Templates 
                   GENERATE template, SIZE(TOKENIZE(template)) AS phrase_length;

-- 按短语长度分组模板
GroupedTemplates = GROUP TemplatesWithLen BY phrase_length;

-- 嵌套FOREACH，针对每个长度生成对应短语并匹配
FinalResults = FOREACH GroupedTemplates {
    -- 生成对应长度的连续短语（逻辑类似之前的单词对，可通过多次JOIN实现）
    DataPhrasesN = ...; 
    -- 匹配当前长度的模板和短语
    Matched = JOIN DataPhrasesN BY phrase, TemplatesWithLen BY template;
    -- 统计当前长度模板的次数
    Grouped = GROUP Matched BY template;
    Generated = FOREACH Grouped GENERATE group AS template, COUNT(Matched) AS count;
    -- 返回当前长度的统计结果
    GENERATE FLATTEN(Generated);
}

STORE FinalResults INTO 'variable_length_template_output';

关键提示 #

• Pig是声明式语言，别用传统的嵌套循环思维，要靠「拆分-转换-关联-分组统计」的数据流思路解决问题
• 如果数据或模板文件特别大，要注意性能：尽量避免用CROSS（笛卡尔积），优先过滤再关联，也可以用FOREACH ... PARALLEL设置并行度优化

内容的提问来源于stack exchange，提问作者TSingh