如何在PySpark DataFrame调用.show()方法时设置显示精度？

我来帮你解决这个问题～PySpark的show()方法本身并没有直接用来指定小数显示精度的参数，但我们可以通过以下几种实用的方式来实现只显示小数点后3位的需求：

方法1：使用format_number函数格式化指定列 #

这是最直接的针对性处理方式，针对需要调整精度的数值列，用Spark内置函数将其格式化为指定小数位数的字符串后再展示：

首先导入对应的函数：

from pyspark.sql.functions import format_number

假设你的DataFrame名为df，其中有一个需要调整精度的数值列numeric_col，可以这样处理：

# 格式化列并保留原列名，然后展示
df.select(format_number("numeric_col", 3).alias("numeric_col")).show()

这样展示出来的numeric_col就会只显示小数点后3位，多余的位数会自动四舍五入。

方法2：全局设置Spark的数值显示精度 #

如果你希望所有数值列在show()时都默认显示3位小数，可以修改SparkSession的配置：

方式A：创建SparkSession时配置 #

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("PrecisionExample") \
    .config("spark.sql.format.numeric.scale", 3)  # 设置全局小数精度为3
    .getOrCreate()

方式B：在运行时动态修改配置 #

如果已经创建了SparkSession，也可以随时修改：

spark.conf.set("spark.sql.format.numeric.scale", 3)

之后所有的df.show()操作，数值列都会自动以3位小数展示。注意这个是全局配置，会影响所有后续的显示操作。

方法3：转换为Pandas DataFrame后设置精度 #

如果你的数据量不大，可以将PySpark DataFrame转换为Pandas DataFrame，利用Pandas的显示配置来控制精度：

首先设置Pandas的显示精度：

import pandas as pd
pd.set_option('display.precision', 3)

然后转换并展示：

df.toPandas()

这种方式适合小数据集，因为转换大数据量到Pandas可能会占用过多内存。

内容的提问来源于stack exchange，提问作者pault