ConnuBot

Connu 使用 ConnuBot 检查网站,了解搜索引擎和 AI 助手是否容易发现、读取和核实网站信息。如果您在日志中看到它,可以在这里了解它做了什么。

何时访问

  • 有人通过 connu.ai/score 的免费网页评分工具检查了您的网站。
  • 您或与您合作的企业曾请 Connu 对网站进行评估。
  • 您的网站属于一项公开企业网站研究的样本。我们只发布汇总数据,不在研究中披露网站名称。

会做哪些工作

  • 在 User-Agent 中将自己标识为 ConnuBot。
  • 先读取并遵守 robots.txt,不抓取其中禁止 ConnuBot 访问的页面。
  • 仅访问您的网站域名及其 www 版本。
  • 免费评分或研究最多读取20个页面;客户评估最多读取数百个页面。
  • 最多同时发送2个请求,请求之间会停顿。如果服务器返回429或服务器错误,会等待后重试,最多重试2次,并遵守 Retry-After。
  • 读取服务器返回的 HTML,不运行 JavaScript、不提交表单,也不登录。
  • 速度通过 Google PageSpeed Insights 测量,因此该次访问来自 Google Lighthouse,而非 ConnuBot。

如何屏蔽

将以下内容加入 robots.txt。ConnuBot 每次开始访问时都会读取该文件,因此修改将在下次访问生效。

User-agent: ConnuBot
Disallow: /

有疑问?

请将域名发送至 hello@connu.ai。我们会说明检查了哪些内容,并可按要求将网站从研究中移除。