ConnuBot
Connu 使用 ConnuBot 检查网站,了解搜索引擎和 AI 助手是否容易发现、读取和核实网站信息。如果您在日志中看到它,可以在这里了解它做了什么。
何时访问
- 有人通过 connu.ai/score 的免费网页评分工具检查了您的网站。
- 您或与您合作的企业曾请 Connu 对网站进行评估。
- 您的网站属于一项公开企业网站研究的样本。我们只发布汇总数据,不在研究中披露网站名称。
会做哪些工作
- 在 User-Agent 中将自己标识为 ConnuBot。
- 先读取并遵守 robots.txt,不抓取其中禁止 ConnuBot 访问的页面。
- 仅访问您的网站域名及其 www 版本。
- 免费评分或研究最多读取20个页面;客户评估最多读取数百个页面。
- 最多同时发送2个请求,请求之间会停顿。如果服务器返回429或服务器错误,会等待后重试,最多重试2次,并遵守 Retry-After。
- 读取服务器返回的 HTML,不运行 JavaScript、不提交表单,也不登录。
- 速度通过 Google PageSpeed Insights 测量,因此该次访问来自 Google Lighthouse,而非 ConnuBot。
如何屏蔽
将以下内容加入 robots.txt。ConnuBot 每次开始访问时都会读取该文件,因此修改将在下次访问生效。
User-agent: ConnuBot Disallow: /
有疑问?
请将域名发送至 hello@connu.ai。我们会说明检查了哪些内容,并可按要求将网站从研究中移除。