.NET Spark中如何用C#遍历DataFrame行并获取列值

问题原因 #

Spark的DataFrame类型未实现IEnumerable接口，因此无法直接用foreach循环遍历。要操作DataFrame的行数据，需采用Spark提供的专属方法。

方法一：本地遍历（小数据集适用） #

如果你的DataFrame数据量较小（比如你提到的10行），可以先把数据拉取到本地内存，再进行遍历：

// 将DataFrame的所有行收集到本地
var rows = df.Collect();

foreach (var row in rows)
{
    // 通过列名获取对应值，需匹配列的实际数据类型
    var col1Val = row.GetAs<string>("列名1");
    var col2Val = row.GetAs<int>("列名2");
    var col3Val = row.GetAs<double>("列名3");

    Console.WriteLine($"列1: {col1Val}, 列2: {col2Val}, 列3: {col3Val}");
}

方法二：分布式遍历（大数据集适用） #

如果数据量较大，不适合拉到本地，可使用Spark的分布式遍历方法，在集群节点上直接处理数据：

df.Foreach(row =>
{
    // 每个分布式节点独立处理行数据
    var col1 = row.GetAs<string>("列名1");
    var col2 = row.GetAs<int>("列名2");
    var col3 = row.GetAs<double>("列名3");

    // 注：此处输出会打印在对应节点的日志中，本地控制台无法直接看到
    Console.WriteLine($"处理行数据：{col1}, {col2}, {col3}");
});

额外提示 #

• GetAs<T>()方法需指定与列实际类型匹配的泛型参数，避免类型转换错误。
• 若不清楚列名，也可通过索引获取值，比如(string)row[0]、(int)row[1]，但需自行确保类型匹配。

内容的提问来源于stack exchange，提问作者Joseph