如何过滤Parquet来源Spark DataFrame中col_b非整数的行？

云原生阿岚

2026-5-25

解决Parquet文件中过滤col_b无法转成整数行的问题

我来帮你搞定这个需求！针对你提到的场景（col_a和col_b都是String类型，需要过滤掉col_b无法转换为整数的行），我分两种常用的处理场景给你具体步骤和代码：

场景一：用Pandas处理（小数据集适用）

如果你的数据量不大，用Pandas处理会很方便，步骤如下：

读取Parquet文件
首先用pandas的read_parquet方法加载文件，得到DataFrame：
```
import pandas as pd
df = pd.read_parquet('你的文件路径.parquet')
```

定义判断函数
写一个辅助函数，用来检查字符串是否能转换为整数：

def can_convert_to_int(s):
    try:
        int(s)
        return True
    except ValueError:
        return False

过滤符合条件的行
用apply方法对col_b应用判断函数，筛选出返回True的行：
```
filtered_df = df[df['col_b'].apply(can_convert_to_int)]
```
可选：将col_b转为整数类型
如果你希望输出的col_b是整数类型而不是字符串，可以执行转换：
```
filtered_df['col_b'] = filtered_df['col_b'].astype(int)
```

执行完这些步骤后，filtered_df就是你想要的结果啦！

场景二：用PySpark处理（大数据集适用）

如果你的数据量很大，适合用PySpark来处理，步骤如下：

初始化SparkSession并读取Parquet文件

from pyspark.sql import SparkSession
from pyspark.sql.functions import try_cast

spark = SparkSession.builder.appName("FilterColB").getOrCreate()
df = spark.read.parquet("你的文件路径.parquet")

过滤能转换为整数的行
Spark 3.0+提供了try_cast函数，它会尝试将字符串转为整数，失败时返回null。我们只需要过滤掉null的行即可：
```
filtered_df = df.filter(try_cast(df.col_b, "int").isNotNull())
```
可选：将col_b转为整数类型
同样，如果需要把col_b转为整数类型，直接用try_cast更新字段：
```
filtered_df = filtered_df.withColumn("col_b", try_cast(df.col_b, "int"))
```