元机器人标签 元机器。元机器人标签应添加到 HTML 文档的 head 部分，可能如下所示： <html> <头> <title>文章打印页面 面是常用支持的命令及其用途的描述表。
命令 描述 无索引 防止页面被索引
不关注 防止机器人跟踪页面上的链接。 无存档 防止页面的缓存副本出现在搜索结果中。 诺斯佩特 防止描述出现在搜索结果中的页面链接下方并防止页面缓存。 诺德普 防止开放目录项目 (DMOZ.org) 页面描述出现在搜索结果中。 著名的 阻止雅虎！搜索结果中显示的页面的目录标题和描述 规范标签 规范标签是放置在网页 HTML 标头中的页面级元标签。
这告诉搜索引擎哪个
URL 是该页面的规范版本。这样做的目的是为了将重复内容排除在搜索引擎 电话号码数据 索引之外，同时将页面的功能整合为“规范”页面。 代码如下所示： <link 机器人标签 自 2007 年以来，Google 和其他搜索引擎已支持 X-Robots-Tag，以通知机器人有关用于提供文件的 HTTP 标头中的爬行和索引首选项。
X-Robots-Tag 对于控制非 HTML 媒体类型（例如 PDF 文档）的索引 区域物种示例 说明 非常有用。 例如，如果要从搜索索引中排除某个页面，则该指令将如下所示： X-Robots-标签：noindex 机器人.txt Robots.txt 允许对搜索引擎机器人对站点的访问进行某种控制，但它不能保证页面不会被抓取和索引。
仅应在必要时使用它并且不应阻止
机器人爬行网站的某个区域，除非有充分的业务和 SEO 理由这样做。相反，我建议 使用“noindex”元标记从索引中排除页面。 避免冲突 同时使用以下两种机器人访问控制方法是一个坏主意。 元机器人“noindex” 规范标签（当指向不同的 URL 时） Robots.txt 不允许 X 机器人标签 尽管您强烈希望将某一页面排除在搜索结果之外，但一种解决方案始终优于两种解决方案。
让我们看看当您对单个
使用不同的机器人访问控制技术组合时会发生什么。 Metarobot“noindex”和规范标 临时邮箱 签 如果您的目标是增强一个 URL 到另一个 URL 的链接能力，并且您没有更好的解决方案，那么只需使用规范标签即可。不要使用元机器人“noindex”标签搬起石头砸自己的脚。
如果您同时使用这两种机器人
聚集技术，搜索引擎很可能根本找不到您的规范标签。您将失去规范标签的链接强度重新分配优势，因为元机器人“noindex”标签可确保不会看到规范标签！哎呀 元机器人“noindex”和 X-Robots 标签“noindex” 这些标签是没有用的。我看不出同一页面的两个位置会直接损害您的搜索引擎优化。