Apache Pig Count聚合异常：统计经理下属员工数结果不符求助

嘿，别慌！作为Pig新手遇到统计结果不符合预期的情况太常见了，我帮你一步步梳理问题、给出正确的实现思路~

首先先明确你的需求：统计每位经理所管理的员工数量，我们先从源数据和常见错误点入手分析。

第一步：确认数据加载是否正确 #

你的源数据是逗号分隔的员工记录，字段应该是：empno,ename,job,mgr,hiredate,sal,comm,deptno，首先要确保加载数据时正确指定分隔符和字段类型，否则后续所有操作都会出错。

正确的加载语句应该是：

employees = LOAD '你的数据文件路径.txt' USING PigStorage(',') 
            AS (empno:int, ename:chararray, job:chararray, mgr:int, 
                hiredate:chararray, sal:float, comm:float, deptno:int);

👉 你可以先执行DUMP employees;查看加载后的结果，确认每个字段都被正确解析，没有出现整行内容被塞进一个字段的情况（这是新手最容易犯的错误，忘记指定分隔符）。

第二步：严谨筛选出经理群体（可选但重要） #

如果直接按mgr分组统计，可能会把非经理的上级也统计进去（比如公司老板的mgr是NULL，他的下属是经理，但我们只需要统计经理的下属）。所以先筛选出所有职位是MANAGER的员工：

managers = FILTER employees BY job == 'MANAGER';

第三步：关联经理和下属 #

通过经理的empno和员工的mgr字段关联，找出每个经理对应的下属：

manager_subordinates = JOIN managers BY empno, employees BY mgr;

第四步：分组统计下属数量 #

按经理的姓名（或员工编号）分组，统计每组的记录数，就是该经理的下属数量：

subordinate_count = FOREACH (GROUP manager_subordinates BY managers.ename) 
                    GENERATE group AS manager_name, 
                    COUNT(manager_subordinates) AS subordinate_count;

最后执行DUMP subordinate_count;就能得到正确的统计结果啦~

常见错误排查点 #

如果你之前的结果不对，大概率是以下原因之一：

• 数据加载时没指定PigStorage(',')，导致字段解析错误
• 直接按employees.mgr分组，没有筛选经理，导致统计了非经理的上级下属
• 没有排除mgr为NULL的记录（比如公司老板的记录，他没有上级，不需要统计）
• 计数时误统计了经理自身（通过JOIN关联的方式可以避免这个问题，因为关联的是下属的mgr等于经理的empno，不会包含经理自己）

内容的提问来源于stack exchange，提问作者Pradeep Rajagopalan