怎样在自己网站上避免复制内容

正如之前的一篇博文介绍，网站产生重复内容的原因有很多，
可以说是无法避免的。
大多数情况下，复制页面对用户和搜索引擎没有任何价值。

所以，采用伪静态和绝对地址使每一个页面只有一个URL,从而彻底解决问题。
另外，从旧URL 301转向到留下的URL,帮助搜索引擎尽快发现你做的改进，
保留被删除页面可能有的链接权重以达到最好的SEO效果。

如果这不可能做到，还有很多种其他方式选择，

下面是处理不同情况的简单方法总结：

使用canonical标签。
这是消除站内重复页面的第二好的方法。

使用robots.txt文件禁止搜索引擎蜘蛛爬行网站页面的重复版本。

使用robots noindex标签告诉搜索引擎不要索引复制页面。

所有指向复制页面的链接使用nofollow标签，
防止任何链接权重流向这些页面。
采取这种方法时，建议也在页面上使用noindex

有些时候可以结合这些方法使用。
例如，可以将指向页面的链接加nofollow,页面本身也使用noindex.这是合情合理的，
因为你要阻止链接权重流到这些页面而且如果有人从其他网站链接到你的页面（这个你无法控制），
还是能保证页面不会进入索引。

但是，如果已经你用robots.txt文件阻止页面被爬行，
再在页面本身使用noindex和nofollow就没有意义了。
因为蜘蛛读不到页面，也就永远看不到noindex和nofollow标签。