robots优化就是另一种SEO优化
[b][font=宋体][size=10.5pt]robots[/size][/font][/b][b][font=宋体][size=10.5pt]优化[/size][/font][/b][color=black][size=10.5pt][/size][/color][font=宋体][color=black][size=10.5pt]robots.txt[/size][/color][color=black][size=10.5pt]是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。因此，robots的优化会直接影响到搜索引擎对网站的收录情况间接影响了[/size][/color][url=http://www.92.la/][color=black][size=10.5pt]SEO[/size][/color][color=black][size=10.5pt]关键词优化[/size][/color][/url][color=black][size=10.5pt]整体进程。[/size][/color][/font]
[b][font=宋体][size=10.5pt]2.5.1 robots[/size][/font][/b][b][font=宋体][size=10.5pt]介绍[/size][/font][/b][color=black][size=10.5pt][/size][/color]
[color=black][size=10.5pt][font=宋体]搜索机器人又叫搜索蜘蛛，在访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt文件，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。[/font][/size][/color]
[font=宋体][color=black][size=10.5pt]robots.txt[/size][/color][color=black][size=10.5pt]必须放置在一个站点的根目录下，而且文件名必须全部小写。如：[/size][/color][/font]
[url=http://www.92.la/robots.txt][color=black][size=10.5pt][font=宋体]http://www.92.la/robots.txt[/font][/size][/color][/url][color=black][size=10.5pt][/size][/color]
[color=black][size=10.5pt][font=宋体]机器人只有在需要禁止抓取某些内容时，写robots.txt才有意义。有的服务器设置有问题，robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能是搜索机器人错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots文件。[/font][/size][/color]
[color=black][font=Calibri] [/font][/color]
[color=#000000][font=宋体]本文由上海夏易[/font][url=http://www.92.la/][color=black][font=Calibri]SEO[/font][/color][font=宋体]公司[/font][/url][font=宋体]整理，[/font][font=Calibri]http://www.92.la/[/font][/color]
页:
[1]