Google使用filetype:csv、filetype:json搜索无结果问题咨询
谷歌
filetype:高级搜索指令返回异常成因 - 谷歌搜索在近年的规则调整中大幅降低了非通用文本类文件的索引优先级,
csv、json这类结构化数据格式的公开文件,只有托管在谷歌白名单内的高可信度公开数据集平台、且页面明确标注为公开可下载资源时,才有可能被收录到通用搜索结果中,普通站点存储的这类文件基本不会被搜索引擎爬取收录。 - 大部分提供数据集下载的站点都会在
robots.txt中设置规则,禁止搜索引擎爬取站点内的非网页类文件,避免爬虫过量占用服务器带宽,而txt格式的轻量文本文件通常不会被纳入限制爬取范围,因此搜索可正常返回结果。 - 泛关键词搭配也会导致相关结果被过滤,如果你使用的是
songs这类范围极广的搜索词,谷歌会优先返回匹配度更高的网页内容,直接过滤掉结构化文件类的低权重结果,你可以尝试搭配数据集专属限定词缩小搜索范围验证。
内容的提问来源于stack exchange,提问作者rogermike
相关产品推荐
相关产品推荐

