一、如何在Hadoop日志中查看Python UDF的调试输出 #

你用print语句看不到输出是因为Pig的Python UDF里，print的内容默认会被定向到Task的stdout，但Hadoop不会自动把这部分内容聚合到可直接查看的日志中。要让调试信息出现在Hadoop的Task日志里，你需要把输出写入stderr流——Hadoop会捕获这部分内容并保存到Task的日志文件中。

具体做法是导入sys模块，用sys.stderr.write()输出调试信息，示例如下：

import sys
@outputSchema("date: chararray") 
def to_date2(dt):
    # 将调试信息写入stderr，会被Hadoop日志捕获
    sys.stderr.write(f"Received dt parameter: {dt}\n")
    if not dt:
        sys.stderr.write("Warning: dt is empty or None\n")
        return None
    a = dt.split("/")
    sys.stderr.write(f"Split result for '{dt}': {a}\n")
    if len(a) != 3:
        sys.stderr.write(f"Invalid date format: '{dt}' split into {len(a)} parts\n")
        return None
    return "20" + a[2] + a[0].zfill(2) + a[1].zfill(2)

之后你可以通过YARN的ResourceManager页面找到对应的Pig作业，进入具体Task的日志页面（查看stderr日志），就能看到这些调试输出了。

二、排查IndexError: index out of range: 2错误 #

这个错误说明dt.split("/")得到的列表长度小于3，也就是你的输入日期不符合预期的"1/1/17"格式。常见原因有：

• 部分行的日期字段是空值（None或空字符串）
• 日期格式错误，比如只有一个斜杠（如"1/17"）或没有斜杠（如"201711"）
• 字段包含额外空格或特殊字符，导致分割结果不符合预期

结合上面的调试输出，你能在日志里看到具体的dt值和分割后的列表，直接定位问题数据。同时，在UDF中增加参数校验逻辑（比如判断分割后的列表长度、检查dt是否为空），既可以避免程序崩溃，还能输出错误数据的细节方便排查。

另外提个小细节：你原来的代码会把"1/1/17"转换成"201711"，这应该是个小失误，用zfill(2)可以自动补零，让结果变成规范的"20170101"格式。

内容的提问来源于stack exchange，提问作者Knows Not Much