Applebot苹果蜘蛛,Applebot苹果爬虫,Applebot 是 Apple 的网络爬虫工具,Siri 和“聚焦建议”等产品都会使用 Applebot

Applebot苹果蜘蛛,Applebot苹果爬虫,Applebot 是 Apple 的网络爬虫工具,Siri 和“聚焦建议”等产品都会使用 Applebot

识别 Applebot

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

自定 Applebot 的规则

Applebot 遵循以 Applebot 为目标的标准 robots.txt 指令。在以下示例中,Applebot 不会尝试抓取 /private/ 或 /not-allowed/ 下方的文稿:

User-agent: Applebot         # 特定apple搜索引擎蜘蛛 
Disallow: /private/          # disallow this directory
User-agent: *                # 所以 搜索引擎蜘蛛
Disallow: /not-allowed/      # disallow this directory

Applebot 支持 HTML 文稿中的机器人元标签。要指定元标签中的机器人规则,请将标签置于文稿的 <head> 部分(如下所示):

<html><head>
<meta name="robots" content="noindex"/>
...
</head>
<body>...</body>
</html>

Applebot 还支持以下指令:

  1. noindex:Applebot 不会针对这个页面创建索引,也不会出现在“聚焦建议”或“Siri 建议”中。
  2. nosnippet:Appletbot 不会生成页面描述。所有示意访问这个 URL 的建议都仅包含页面的标题。
  3. nofollow:Applebot 不会打开页面上所示的任何链接。
  4. none:如上所述,Applebot 不会针对页面创建索引、生成片段或打开页面上所示的链接。
  5. all:Applebot 会提供建议文稿并生成内容片段,以在代表性图像旁边显示有关页面的简短描述。Applebot 可能会打开页面上所示的链接,以提供更多建议。
    要将多个指令置于单个元标签中,请使用以逗号分隔的列表或使用多个元标签。下面是一些示例:
<meta name="robots" content="nosnippet, noindex”>

以及

<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">