AWS EMR JupyterHub PySpark内核如何显示全部交互式输出

我之前在AWS EMR的JupyterHub上用Spark 2.4.4的PySpark内核时，也正好碰到过一模一样的问题！折腾了好一会儿，终于找到几个实用的解决办法，分享给你：

1. 让所有表达式结果自动显示（无需print） #

PySpark内核默认只显示最后一行表达式的结果，和Python3.6内核的行为不同。我们可以修改IPython的交互配置，让它显示所有表达式的输出：

在Jupyter单元格中运行这段代码：

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"

设置完成后，再执行a=3、a、a+1，就能依次看到3和4的输出了！

如果想让这个设置永久生效，你可以在自己的用户目录下创建~/.ipython/profile_default/ipython_config.py文件，添加下面的内容：

c.InteractiveShell.ast_node_interactivity = "all"

不过在EMR的JupyterHub环境中，可能需要管理员配置全局设置，或者每个用户自行添加这个文件。

2. 解决print语句延迟输出的问题 #

你提到循环里的print会最后一次性输出，这是因为PySpark的stdout有缓冲机制。要实现实时输出，只需要在每次print后强制刷新缓冲区：

import time
import sys

for i in range(0,10):
    print(i)
    sys.stdout.flush()  # 强制刷新输出缓冲区
    time.sleep(2)

这样就能每2秒看到一个数字实时打印出来了。

另外，也可以在单元格开头设置环境变量关闭缓冲，一劳永逸：

import os
os.environ['PYTHONUNBUFFERED'] = '1'

设置后，后续的print语句都会实时输出，不需要每次手动flush。

3. 替代print的灵活输出方式（可选） #

如果不想用print，也可以用IPython的display函数，它能更好地处理不同类型的输出，比如：

from IPython.display import display

a = 3
display(a)
display(a+1)

这个方式需要手动调用，但输出格式有时候会比print更美观，适合展示复杂对象。

为什么PySpark内核和Python3.6内核行为不同？ #

其实PySpark内核基于IPython，但默认的交互配置是ast_node_interactivity = "last_expr"，只渲染最后一个表达式的结果；而Python3.6内核默认的配置更宽松，会显示所有表达式的输出。我们上面的方法就是把PySpark内核的配置改成和Python内核一致。

内容的提问来源于stack exchange，提问作者Lavesh