如何展开Apache Beam日志错误层级，查看完整异常栈信息？

错误根源 #

从异常栈的最底层可以明确定位问题：

Caused by: org.apache.beam.sdk.coders.CoderException: cannot encode a null Integer

你的Beam ETL Pipeline中存在Integer类型的null值字段，而Beam默认的VarIntCoder不支持序列化null值。这个错误在Spark Runner执行GroupByKey操作触发shuffle时暴露——Shuffle过程需要对数据进行序列化编码，此时碰到null的Integer就抛出了异常。

获取完整异常日志的方法 #

要展开日志中... 14 more对应的完整栈信息，可通过以下方式操作：

• Airflow UI查看完整日志：在DAG任务详情页的"Logs"模块，检查是否有"View Full Log"类的展开选项，部分场景下UI会自动截断长日志，需手动切换到完整视图。
• 查看集群端日志：如果是AWS EMR集群环境，登录EMR控制台找到对应集群和Spark任务步骤，点击"View logs"跳转至CloudWatch或S3存储的完整日志文件；也可在集群节点执行命令：

  yarn logs -applicationId <你的Spark应用ID>
  

  替换<你的Spark应用ID>为日志中显示的应用ID，即可获取包含完整异常栈的日志。
• 直接访问Airflow日志存储：若Airflow配置了S3作为日志存储介质，直接到对应S3 Bucket的任务日志路径下打开日志文件，即可查看无截断的完整内容。

内容的提问来源于stack exchange，提问作者Alberto Martin