‹‹ 上一主题 | 下一主题 ››
发新话题
打印

robots优化就是另一种SEO优化

哎伊呀伊哟

新手上路

Rank: 1
1# 大 中 小 发表于 2012-3-23 10:06  只看该作者

robots优化就是另一种SEO优化

robots优化
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。因此，robots的优化会直接影响到搜索引擎对网站的收录情况间接影响了SEO关键词优化整体进程。
2.5.1  robots介绍
搜索机器人又叫搜索蜘蛛，在访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt文件，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。如：
http://www.92.la/robots.txt
机器人只有在需要禁止抓取某些内容时，写robots.txt才有意义。有的服务器设置有问题，robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能是搜索机器人错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots文件。

本文由上海夏易SEO公司整理，http://www.92.la/

TOP

‹‹ 上一主题 | 下一主题 ››
发新话题