Applebot苹果蜘蛛，Applebot苹果爬虫，Applebot 是 Apple 的网络爬虫工具，Siri 和“聚焦建议”等产品都会使用 Applebot

Applebot苹果蜘蛛，Applebot苹果爬虫，Applebot 是 Apple 的网络爬虫工具，Siri 和“聚焦建议”等产品都会使用 Applebot

识别 Applebot

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

自定 Applebot 的规则

Applebot 遵循以 Applebot 为目标的标准 robots.txt 指令。在以下示例中，Applebot 不会尝试抓取 /private/ 或 /not-allowed/ 下方的文稿：

User-agent: Applebot         # 特定apple搜索引擎蜘蛛 
Disallow: /private/          # disallow this directory
User-agent: *                # 所以 搜索引擎蜘蛛
Disallow: /not-allowed/      # disallow this directory

Applebot 支持 HTML 文稿中的机器人元标签。要指定元标签中的机器人规则，请将标签置于文稿的 <head> 部分（如下所示）：

<html><head>
<meta name="robots" content="noindex"/>
...
</head>
<body>...</body>
</html>

Applebot 还支持以下指令：

  1. noindex：Applebot 不会针对这个页面创建索引，也不会出现在“聚焦建议”或“Siri 建议”中。
  2. nosnippet：Appletbot 不会生成页面描述。所有示意访问这个 URL 的建议都仅包含页面的标题。
  3. nofollow：Applebot 不会打开页面上所示的任何链接。
  4. none：如上所述，Applebot 不会针对页面创建索引、生成片段或打开页面上所示的链接。
  5. all：Applebot 会提供建议文稿并生成内容片段，以在代表性图像旁边显示有关页面的简短描述。Applebot 可能会打开页面上所示的链接，以提供更多建议。
    要将多个指令置于单个元标签中，请使用以逗号分隔的列表或使用多个元标签。下面是一些示例：
<meta name="robots" content="nosnippet, noindex”>

以及

<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">