web scraping是否合法？抓取可手动抄录的公开门店联系方式合规吗

首先要明确：不存在全球通用的绝对判定结果，具体是否违法完全取决于你所在的司法辖区规定、爬取行为本身、以及爬取后对数据的使用方式，核心可以参考几个判定维度：

• 先核查目标网站的robots.txt规则：虽然robots协议本身没有法律强制效力，但几乎所有司法辖区都会把它作为网站是否明确拒绝自动化访问的核心参考依据。如果网站的robots文件明确禁止爬取门店信息所属的页面路径，你仍然执意爬取的话，很大概率会被认定为「未经授权的访问」，存在合规风险。
• 评估你的爬取行为对网站的影响：手动抄录的访问频率极低，几乎不会对网站运营造成任何影响，但自动化爬虫如果设置了过高的并发请求、短时间内占用大量网站带宽，甚至影响到普通用户的正常访问、导致网站服务异常，不管你爬的是不是公开信息，这种造成实际损害的行为基本都属于违法范畴。
• 注意数据的使用场景：如果爬取后仅为个人非商用的自用整理，合规风险极低；如果是商用牟利、倒卖数据，甚至用获取到的联系方式批量发送骚扰信息，那不管你是爬虫获取还是手动抄录，后续的使用行为本身就涉嫌违法，和信息的获取方式没有关系。
• 匹配属地的专门法律要求：如果爬取的信息涉及个人信息，需要符合对应地区的法律规定，比如欧盟GDPR、美国CFAA、国内的《网络安全法》《个人信息保护法》等，都对公开个人信息的爬取、使用有明确约束，不要觉得公开的信息就可以无限制爬取使用。

不要默认「手动能抄的内容用爬虫爬就一定合法」，两者的访问效率、对目标服务的影响、批量数据处理的合规风险都有本质差异，不能直接划等号。如果涉及到商用或者大规模爬取的场景，建议提前咨询属地的法律专业人士做针对性评估。

内容的提问来源于stack exchange，提问作者Sneak Volleyball