巧用robots文件提高网站排名
[font=宋体][size=3][color=#000000] Robots文件是网站和蜘蛛程序之间的“君子协议”——robots文件不仅仅可以节省网站的资源，还可以帮助蜘蛛更加有效的抓取，从而提高[/color][/size][/font][url=http://www.92.la/][font=宋体][size=3][color=#000000]上海SEO公司[/color][/size][/font][/url][size=3][font=宋体][color=#000000]网站排名。1：只允许谷歌bot[/color][/font][/size]
[font=宋体][size=3][color=black] 如果要拦截除谷歌bot之外的所有爬虫：[/color][/size][/font]
[size=3][font=宋体][color=black] User-agent：*[/color][/font][/size]
[size=3][font=宋体][color=black] disallow：/[/color][/font][/size]
[font=宋体][size=3][color=black] Uer-agent：允许的蜘蛛名[/color][/size][/font]
[font=宋体][size=3][color=black] Disallow：[/color][/size][/font]
[font=宋体][size=3][color=black][/color][/size][/font]
[font=宋体][size=3][color=black] 2：“/folder/”和“/folder”的区别[/color][/size][/font]
[font=宋体][size=3][color=black] 举个例子：[/color][/size][/font]
[size=3][font=宋体][color=black] User-agent：*[/color][/font][/size]
[size=3][font=宋体][color=black] Disallow：/folder/[/color][/font][/size]
[size=3][font=宋体][color=black] Disallow：/folder[/color][/font][/size]
[font=宋体][size=3][color=black] “Disallow：/folder/”表示拦截的是一个目录，该目录文件下的所有文件不允许被抓取，但是允许抓取folder.hlml。[/color][/size][/font]
[font=宋体][size=3][color=black] “Disallow：/folder”：对/folder/下的所有文件和folder.html都不能被抓取。[/color][/size][/font]
[font=宋体][size=3][color=black][/color][/size][/font]
[font=宋体][size=3][color=black] 3：“*”匹配任意字符[/color][/size][/font]
[size=3][font=宋体][color=black] User-agent：*[/color][/font][/size]
[font=宋体][size=3][color=black] 表示屏蔽所有的蜘蛛。当我们做了伪静态处理之后，会同时又动态网页和静态网页，网页内容一模一样，视为镜态页面，所以我们要屏蔽掉动态的网页，可以用*号来屏蔽动态的网页[/color][/size][/font]
[size=3][font=宋体][color=black] User-agent：*[/color][/font][/size]
[size=3][font=宋体][color=black] Disallow：/?*?/[/color][/font][/size]
[font=宋体][size=3][color=black][/color][/size][/font]
[font=宋体][size=3][color=black] 4：$匹配网址结束[/color][/size][/font]
[font=宋体][size=3][color=black] 如果要拦截以某个字符串结束的网址，就可以使用$，例如，要拦截以.asp结束的网址：[/color][/size][/font]
[size=3][font=宋体][color=black] User-agent：*[/color][/font][/size]
[size=3][font=宋体][color=black] Disallow：/*.asp$[/color][/font][/size]
[font=宋体][size=3][color=black] 也可以打开比较优秀的网站，看他们的robots文件是如何书写的，然后根据自己的需求进行相应的修改。Robots文件可以让蜘蛛把更多的时间花在要抓取的内容上，所以优化robots文件是很有必要的。[/color][/size][/font]
[color=black][font=宋体][size=10.5pt] 本文由[/size][/font][url=http://www.92.la/][color=black]上海搜索引擎优化公司[/color][/url] – [font=宋体][size=10.5pt]夏易网络提供。[/size][/font][/color]
页:
[1]