You need to enable JavaScript to run this app. Apache Flink 1.13版本Table转DataSet替代方案及Table直接写文件方法咨询
优惠活动
大模型
产品
解决方案
定价
更多

Apache Flink 1.13版本Table转DataSet替代方案及Table直接写文件方法咨询

推荐方案:直接通过Table API声明Sink写入文件(无废弃API依赖)

这是官方优先推荐的实现方式,完全不需要将Table转换为DataSet,全程基于统一的Table SQL层完成读写逻辑,代码更简洁,也能享受Table层的执行优化。
实现代码示例如下:

import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;

public class CsvProcessJob {
    public static void main(String[] args) {
        // 初始化批模式Table环境
        EnvironmentSettings settings = EnvironmentSettings
            .newInstance()
            .inBatchMode()
            .build();
        TableEnvironment tableEnv = TableEnvironment.create(settings);

        // 注册输入CSV源表
        final String sourceDDL = "CREATE TEMPORARY TABLE CatalogTable (" +
            "date STRING, " +
            "month STRING, " +
            // 其他字段按需补充
            "..." +
            ") WITH (" +
            "'connector' = 'filesystem', " +
            "'path' = 'file:///CSV_PATH', " +
            "'format' = 'csv'" +
            ")";
        tableEnv.executeSql(sourceDDL);

        // 注册输出文件Sink表
        final String sinkDDL = "CREATE TEMPORARY TABLE OutputTable (" +
            "date STRING, " +
            "month STRING, " +
            // 字段需要和业务SQL查询结果的字段顺序、类型完全匹配
            "..." +
            ") WITH (" +
            "'connector' = 'filesystem', " +
            "'path' = 'file:///OUT_PATH', " +
            // 若需要纯文本输出可替换为'format' = 'raw',csv格式可保留分隔符配置
            "'format' = 'csv', " +
            "'csv.field-delimiter' = ','" +
            ")";
        tableEnv.executeSql(sinkDDL);

        // 执行业务SQL并直接写入输出表,无需手动调用execute,executeSql会自动提交作业
        String businessSql = "..."; // 你的业务查询逻辑
        tableEnv.executeSql("INSERT INTO OutputTable " + businessSql);
    }
}

备选方案:若必须将Table转换为数据集处理

如果你的业务逻辑确实需要将Table转换为数据集做后续处理,不要使用废弃的BatchTableEnvironment,可以将Table转换为批模式下的DataStream,效果和原有DataSet完全一致,Flink 1.13已经实现批流统一,批模式下的DataStream可以完全替代原有DataSet API的能力。
实现代码示例如下:

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.types.Row;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class CsvProcessJob {
    public static void main(String[] args) throws Exception {
        // 初始化批模式流环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        EnvironmentSettings settings = EnvironmentSettings
            .newInstance()
            .inBatchMode()
            .build();
        TableEnvironment tableEnv = TableEnvironment.create(settings);

        // 注册输入表、执行业务SQL逻辑
        final String sourceDDL = "...";
        tableEnv.executeSql(sourceDDL);
        String businessSql = "...";
        Table result = tableEnv.sqlQuery(businessSql);

        // 直接转换为DataStream,无需依赖废弃的BatchTableEnvironment
        DataStream<Row> resultStream = tableEnv.toDataStream(result, Row.class);
        // 写入文本文件,批模式下运行效果和原有DataSet.writeAsText完全一致
        resultStream.writeAsText("<OUT_PATH>");
        // 提交作业
        env.execute("Flink Table-Sql Example");
    }
}

注意:原有DataSet API本身也已被标记为废弃,后续Flink版本会逐步移除相关API,建议优先适配全Table API或批模式DataStream的技术栈,避免后续升级再次出现兼容问题。


内容的提问来源于stack exchange,提问作者F Baig

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.13 18:30:03