BigQuery中StackOverflow数据集Pandas问答SQL查询结果异常排查

需求与问题场景 #

需要从BigQuery的bigquery-public-data.stackoverflow.posts_questions表中筛选标题包含"pandas"的问题，关联bigquery-public-data.stackoverflow.posts_answers表获取对应答案，要求每行对应一对问答，一个问题有多个答案时返回多行，需返回问答ID、标题、标签、创建日期、得分、答案数，以及移除换行符的正文内容。

编写的SQL如下：

SELECT  tb1.id as q_id,tb1.title as q_title,tb1.tags as q_tags
,tb1.creation_date as q_creation_date,tb1.score as q_score,tb1.answer_count as q_answer_count
,REPLACE(tb1.body,'\n',' ') as body_qustion,REPLACE(tb2.body,'\n',' ') as body_answer
from  `bigquery-public-data.stackoverflow.posts_questions` as tb1 
left join  `bigquery-public-data.stackoverflow.posts_answers`  as tb2 
on tb1.id=tb2.id
 where( tb1.title like "%pandas%" or tb1.title like "%Pandas%" or tb1.title like "%PANDAS%")
 group by tb1.id ,tb1.title ,tb1.tags,tb1.creation_date,tb1.score
,tb1.answer_count,body_qustion,body_answer

实际运行时出现问题：一个问题有3个答案时，预期返回3行，实际仅返回1行。

问题原因 #

1. 关联条件错误：问题表posts_questions的id是问题的唯一标识，而答案表posts_answers的id是答案自身的ID，正确的关联字段应该是答案表的parent_id（指向所属问题的ID），原SQL用tb1.id=tb2.id导致几乎无法匹配到正确的答案，甚至可能出现错误匹配。
2. 多余分组操作：这里不需要GROUP BY，因为需求是获取每一对问答的明细行，分组操作会在字段值相同时合并行，进一步导致结果行数减少。
3. 标题匹配冗余：多个LIKE分支可以用LOWER()函数简化，避免重复判断大小写。

修正后的SQL #

SELECT  
    tb1.id as q_id,
    tb1.title as q_title,
    tb1.tags as q_tags,
    tb1.creation_date as q_creation_date,
    tb1.score as q_score,
    tb1.answer_count as q_answer_count,
    REPLACE(tb1.body, '\n', ' ') as body_question,
    REPLACE(tb2.body, '\n', ' ') as body_answer
FROM  
    `bigquery-public-data.stackoverflow.posts_questions` as tb1 
LEFT JOIN  
    `bigquery-public-data.stackoverflow.posts_answers` as tb2 
ON  
    tb1.id = tb2.parent_id
WHERE  
    LOWER(tb1.title) LIKE "%pandas%"

说明 #

• 修正关联条件后，每个问题会关联到其所有对应的答案，一个问题有N个答案就会返回N行结果。
• 移除GROUP BY后，保留了所有问答明细行，符合需求。
• 用LOWER(tb1.title)统一转换为小写后匹配，简化了条件判断，同时覆盖所有大小写形式的"pandas"。

内容的提问来源于stack exchange，提问作者agnesa rivkin