网站meta标签处理的方法

Meta标签内容放在一个meta中。这将使得meta标签更易于读取并降低发生错误的概率。例如：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

如果一行包含对个meta标签，我们将会累加标签的内容，例如，我们会将

<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="NOFOLLOW">

理解为：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

单词拼写规范

Googlebot可以理解任何大小写的组合，所有大小写都是同样的效果。如果包含多内容的数值，数值之间需要使用逗号分隔。

同时使用robots.txt和robots meta标签

如果你同时使用了robots.txt文件和robots meta标签，如果robots.txt和meta标签有冲突，googlebot将使用限制更严的。具体来说：

如果你在robots.txt里禁止了某一页，Googlebot永远也不会去索引那一页，也不会读取那一页的任何标识。

如果你在robot.txt中允许，但是在页面中使用 meta 标签对其进行限制，那么Googlebots会访问那一页，读取里面的标签，但不会对其进行索引。

有效的meta标签数值

Googlebot可以对下面的标签进行如下的解读：

NOINDEX - 阻止页面被列入索引。

NOFOLLOW - 阻止对于页面中任何超级链接进行索引。（注，这不同于超级链接上的nofollow属性，那个属性只是组织索引单独的链接）

NOARCHIVE - 不保存该页面的网页快照。

NOSNIPPET - 不在搜索结果中显示该页面的摘要信息，同时不保存该页面的网页快照。

NOODP - 在搜索结果中不使用Open Directory Project中的描述信息作为其摘要信息。

NONE - 相当于“NOINDEX, NOFOLLOW”。

数值NONE的含义

据robotstxt.org的定义，下面的标记等价于 NOINDEX, NOFOLLOW 。

<META NAME="ROBOTS" CONTENT="NONE">

不过，有些网站站长使用这个标签来限制和组织所有搜索引擎来的内容索引。