能否在PrestoDB中设置consumer group参数及Kafka查询过滤条件？

Presto官方Kafka连接器完全支持查询时设置过滤条件，合理配置可避免全量读取Kafka数据：

• 针对Kafka内置元字段的过滤条件会直接下推到Kafka侧执行，仅拉取符合条件的分区和偏移量范围数据，可用的内置元字段包括_partition（分区号）、_offset（消息偏移量）、_timestamp（消息时间戳）、_key（消息键），示例查询如下：

  -- 仅读取最近2小时的消息，无需全量拉取
  SELECT * FROM kafka_catalog.my_topic 
  WHERE _timestamp >= NOW() - INTERVAL '2' HOUR AND _partition = 3;
  

• 如果你在Kafka catalog中提前配置了消息体的结构化Schema（支持JSON、Avro、Protobuf等格式），消息体内部字段的过滤条件也可实现部分下推，进一步减少拉取的数据量。

Presto的Kafka连接器默认不使用持久化Consumer Group管理偏移量，所有查询的偏移量范围由查询条件或catalog默认配置（默认读最新/最旧数据）动态生成，不会向Kafka集群提交偏移量。
你可以在Kafka catalog的配置文件中调整consumer相关的运行参数，常用可配置参数如下：

• kafka.consumer.session.timeout.ms：Consumer会话超时时间，默认30000
• kafka.consumer.heartbeat.interval.ms：Consumer向Kafka集群发送心跳的间隔，默认10000
• kafka.consumer.max.poll.records：单次拉取请求的最大消息数，默认500
• kafka.consumer.fetch.min.bytes：单次拉取请求的最小数据量，默认1

注意：上述参数为全局生效配置，暂不支持为单个查询指定自定义Consumer Group，也不支持基于已提交的Consumer Group偏移量读取数据，如有类似需求可先手动从Kafka获取对应Group的已提交偏移量，再作为_offset字段的过滤条件传入查询语句。

内容的提问来源于stack exchange，提问作者CompEng