robots.txt和nofollow标签中错误的使用详解

　在SEO过程有些常犯的错误，下面列举了一些错误的SEO方式，并给出了正确的SEO解决办法。文章涉及robots.txt正确写法和nofollow正确用法。

　　一，下面几种关于robots.txt的写法错误，是我们在SEO初学期或不经意间会犯下的：

　　robots.txt写成Robots.txt或robot.txt：会造成搜索引擎无法找到该文件，于是按照没有robots.txt处理。正确写法为：

　　robots.txt

　　robots.txt以UTF-8编码：正确的协议，文件应该以ANSI格式编码。错误的编码格式会造成“语法有误”(谷歌管理员工具中显示)，从而导致文件中的内容全部无法识别。正确的编码方式是：下载网站robots.txt文件，用记事本打开，选择“另存为”，然后在“编码”中，选择ANSI，然后保存。再上传至网站根目录。

　　User-agent写成user-agent或User-Agent：按照协议标准，robots.txt内所有行的首字母应该大写。错误写法会造成搜索引擎无法识别，从而忽略该条协议。正确写法为：

　　User-agent: *

　　其中*代表通配符，指以下的内容对搜索搜索引擎均有用。也可以指定搜索引擎，正确写法为(列举最常见的三个)：

　　User-agent: Googlebot

　　User-agent: Baiduspider

　　User-agent: Yahoo!slurp

　　目录和文件名不区分大小写：/seo/和/Seo以及/SEO是三个不同的文件目录，同理xuexiseo.html和XueXiSeo.html以及XUEXISEO也是三个不同的文件。所以在写robots.txt的时候，一定要注意自己网站目录和URL的名称。正确的写法为：

　　Disallow: /admin/ (不允许抓取admin目录下的文件)

　　Allow: .gif$ (允许抓取以.gif为结尾的所有文件)


　　二，nofollow标签使用方法

　　记得在09年时，ZAC和国平曾经因为Matt Cutts在SMX上的一段话，对nofollow的用法产生了争执。 两人都赞成一个观点，即：

　　假如网站PR是10，网站上本来有10个链接，全部不加nofollow，每个连接得到1点PR。如果其中5个加了nofollow，是不是另外5个每个得到2点PR?显然不是，每个仍然得到1点PR。

　　两人的争执点在于：使用nofollow算不算是一种浪费?

　　我的理解是：

　　使用nofollow不算是一种浪费，因为它还起到控制搜索引擎抓取这样一个重要的作用。

　　三，robots.txt正确写法

　　robots.txt是搜索引擎蜘蛛在访问网站时接触的第一个文件，也是标志着网站针对搜索引擎进行优化的开始。robots.txt是一个协议，目前绝大部分搜索引擎都支持该协议。至于那些不支持该协议的，无非是那种小型的搜索引擎，或伪装成搜索引擎的采集程序等。
　　robots.txt在SEO是的过程中起到了引导搜索引擎蜘蛛抓取重要内容，避免蜘蛛将有限的资源浪费在无关的文件如CSS/JS/程序上。