Apache Flink 1.13版本Table转DataSet替代方案及Table直接写文件方法咨询
Flink 1.13版本API迁移替代方案
推荐方案:直接通过Table API声明Sink写入文件(无废弃API依赖)
这是官方优先推荐的实现方式,完全不需要将Table转换为DataSet,全程基于统一的Table SQL层完成读写逻辑,代码更简洁,也能享受Table层的执行优化。
实现代码示例如下:
import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.TableEnvironment; public class CsvProcessJob { public static void main(String[] args) { // 初始化批模式Table环境 EnvironmentSettings settings = EnvironmentSettings .newInstance() .inBatchMode() .build(); TableEnvironment tableEnv = TableEnvironment.create(settings); // 注册输入CSV源表 final String sourceDDL = "CREATE TEMPORARY TABLE CatalogTable (" + "date STRING, " + "month STRING, " + // 其他字段按需补充 "..." + ") WITH (" + "'connector' = 'filesystem', " + "'path' = 'file:///CSV_PATH', " + "'format' = 'csv'" + ")"; tableEnv.executeSql(sourceDDL); // 注册输出文件Sink表 final String sinkDDL = "CREATE TEMPORARY TABLE OutputTable (" + "date STRING, " + "month STRING, " + // 字段需要和业务SQL查询结果的字段顺序、类型完全匹配 "..." + ") WITH (" + "'connector' = 'filesystem', " + "'path' = 'file:///OUT_PATH', " + // 若需要纯文本输出可替换为'format' = 'raw',csv格式可保留分隔符配置 "'format' = 'csv', " + "'csv.field-delimiter' = ','" + ")"; tableEnv.executeSql(sinkDDL); // 执行业务SQL并直接写入输出表,无需手动调用execute,executeSql会自动提交作业 String businessSql = "..."; // 你的业务查询逻辑 tableEnv.executeSql("INSERT INTO OutputTable " + businessSql); } }
备选方案:若必须将Table转换为数据集处理
如果你的业务逻辑确实需要将Table转换为数据集做后续处理,不要使用废弃的BatchTableEnvironment,可以将Table转换为批模式下的DataStream,效果和原有DataSet完全一致,Flink 1.13已经实现批流统一,批模式下的DataStream可以完全替代原有DataSet API的能力。
实现代码示例如下:
import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.Table; import org.apache.flink.table.api.TableEnvironment; import org.apache.flink.types.Row; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; public class CsvProcessJob { public static void main(String[] args) throws Exception { // 初始化批模式流环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings settings = EnvironmentSettings .newInstance() .inBatchMode() .build(); TableEnvironment tableEnv = TableEnvironment.create(settings); // 注册输入表、执行业务SQL逻辑 final String sourceDDL = "..."; tableEnv.executeSql(sourceDDL); String businessSql = "..."; Table result = tableEnv.sqlQuery(businessSql); // 直接转换为DataStream,无需依赖废弃的BatchTableEnvironment DataStream<Row> resultStream = tableEnv.toDataStream(result, Row.class); // 写入文本文件,批模式下运行效果和原有DataSet.writeAsText完全一致 resultStream.writeAsText("<OUT_PATH>"); // 提交作业 env.execute("Flink Table-Sql Example"); } }
注意:原有DataSet API本身也已被标记为废弃,后续Flink版本会逐步移除相关API,建议优先适配全Table API或批模式DataStream的技术栈,避免后续升级再次出现兼容问题。
内容的提问来源于stack exchange,提问作者F Baig
相关产品推荐
相关产品推荐

