请求协助解决GridDB Hash join代码支持问题及GridDB FDW异常

问题详情 #

1. GridDB FDW运行异常，需协助修复
2. 遇到GridDB中的“Hash join code support issue”，具体场景如下：

set local min_parallel_table_scan_size = 0;
set local parallel_setup_cost = 0;
-- Extract bucket and batch counts from an explain analyze plan.  In
-- general we can't make assertions about how many batches (or
-- buckets) will be required because it can vary, but we can in some
-- special cases and we can check for growth.
create or replace function find_hash(node json)
returns json language plpgsql
as
$$
declare
  x json;
  child json;
begin
  if node->>'Node Type' = 'Hash' then
    return node;
  else
    for child in select json_array_elements(node->'Plans')
    loop
      x := find_hash(child);
      if x is not null then
        return x;
      end if;
    end loop;
    return null;
  end if;
end;
$$;
create or replace function hash_join_batches(query text)
returns table (original int, final int) language plpgsql
as
$$
declare
  whole_plan json;
  hash_node json;
begin
  for whole_plan in
    execute 'explain (analyze, format ''json'') ' || query
  loop
    hash_node := find_hash(json_extract_path(whole_plan, '0', 'Plan'));
    original := hash_node->>'Original Hash Batches';
    final := hash_node->>'Hash Batches';
    return next;
  end loop;
end;
$$;

创建的hash_join_batches函数无法正常运行：查询select count(*) from simple r join simple s using (id);默认选择merge join算法而非hash join；即使执行SET ENABLE_MERGEJOIN TO off强制使用hash join后，问题仍未解决。

解决思路与方案 #

一、修复hash_join_batches函数问题 #

1. 修正类型转换与空值处理
   原函数直接将字符串类型的JSON字段赋值给int变量，且未处理hash节点为空的情况，修改后版本：

   create or replace function hash_join_batches(query text)
   returns table (original int, final int) language plpgsql
   as
   $$
   declare
     whole_plan json;
     hash_node json;
   begin
     for whole_plan in
       execute 'explain (analyze, format ''json'') ' || query
     loop
       hash_node := find_hash(json_extract_path(whole_plan, '0', 'Plan'));
       if hash_node is not null then
         original := (hash_node->>'Original Hash Batches')::int;
         final := (hash_node->>'Hash Batches')::int;
         return next;
       else
         original := null;
         final := null;
         return next;
       end if;
     end loop;
   end;
   $$;
   

2. 验证JSON路径正确性
   手动执行explain (analyze, format 'json') select count(*) from simple r join simple s using (id);，查看返回的JSON结构，确认Original Hash Batches、Hash Batches字段存在，且json_extract_path(whole_plan, '0', 'Plan')路径匹配实际结构。

二、强制Hash Join生效的补充配置 #

除关闭merge join外，调整以下参数引导优化器选择Hash Join：

• 关闭嵌套循环：SET ENABLE_NESTLOOP TO off;
• 调整成本与内存参数：

  SET local join_collapse_limit = 1;
  SET local effective_cache_size = '1GB'; -- 根据实际内存调整
  SET local hash_mem_multiplier = 2; -- 增加Hash Join可用内存
  

• 临时移除id字段的排序索引：若id存在索引，优化器更倾向Merge Join，可临时删除索引测试。

三、GridDB FDW异常排查 #

1. 确认FDW版本与PostgreSQL版本兼容，排查是否存在已知兼容性bug
2. 启用PostgreSQL日志，查看postgresql.log中FDW相关的报错信息
3. 测试基础FDW查询（如select * from simple limit 10;），确认连接与数据读取正常
4. 通过GridDB CLI工具gs_sh检查集群状态，确认分片、副本无异常

四、Hash Join代码支持问题处理 #

1. 升级GridDB版本：查看官方更新日志，新版本可能已修复Hash Join支持问题
2. 提交官方issue：整理复现步骤、环境信息（GridDB/PostgreSQL/FDW版本），提交到官方仓库反馈
3. 临时替代方案：将GridDB数据导入PostgreSQL本地表后执行Join，或使用GridDB原生SQL完成Join逻辑

内容的提问来源于stack exchange，提问作者Arqish Mithani