如何解决网站复制重复内容的问题？

复制内容也可以称为重复内容。复制内容指的是两个或多个URL内容相同，或非常相似。复制内容既可能发生在同一个网站内，也可能发生在不同网站上。

1、产生复制内容的原因   

下面这些原因可能造成复制内容。前面讨论的网址规范化问题会产生复制内容。

代理商和零售商从产品生产商那里转载产品信息。这倒没什么不对，一般生产商也都同意，没有版权问题。但是绝大部分代理商、零售商、批发商都是直接copy而不做任何改动，大家用的都是一模一样的产品说明，所以这些电子商务网站上充斥着大量复制内容。

打印版本。很多网站除了正常供浏览的页面外，还提供更适于打印的页面版本，如果没有用适当方式禁止抓取，这些打印版本网页就会变成复制内容。   网站结构造成的各种页面版本。如产品列表按价格、评论、上架时间等排序页面，博客的分类存档、时间存档等。

网页内容由RSS生成。有很多网站，尤其是新闻类网站，用其他网站的 RSS feed 生成网站内容，这些内容在原始出处和很多其他类似网站上都已经出现过很多次了。

使用Session ID。搜索引擎蜘蛛在不同时间访问网页的时候，被给予了不同的Session ID，实际上网页内容是一样的。由于Session 1D参数不同，就被当成了不同的网页。

网页实质内容太少。每个网页上都不可避免地有通用部分，比如：导航条、版权声明、广告等。如果网页的正文部分太短，内容数量还抵不上通用部分，就有可能被认为是复制内容页面。

转载及抄袭。有时是其他人抄袭了你的网站内容，有时是善意的转载，有时是作者自己在不同网站发布文章，这些都会造成复制内容。

镜象网站。镜象网站曾经很流行，当一个网站太忙太慢的时候，用户可以通过替代镜象来看内容或下载，这也有造成复制内容的风险。

产品或服务类型之间的区别比较小。比如有的网站把自己的服务按地区进行分类，但实际上提供给每个地区的产品或服务都是一样的。这些按地区分类的页面只是把地名改了改，其他服务内容说明全都一样。

URL任意加字符还是返回200状态码。有的网站由于技术原因，用户在URL后加上任意字符或参数，服务器还能正常返回200状态码，并返回没加上任意字符时一样的重复内容页面。

检查页面是否有复制版本相对简单。拿出页面正文中的一句话，加上双引号，在搜索引擎中搜索一下，从结果中就能看到是否有多个页面包含这句话。一般来说，随机挑选的一个句子，完整出现在另一篇无关文章中的可能性很低。

2、复制内容的害处   

很多SEO对复制内容有个误解，认为网站上有复制内容，搜索引擎就会惩罚。其实搜索引擎并不会因为网站有少量复制内容而惩罚或降权。搜索引擎做的只是从多个页面中尽量挑选出真正的原创版本给予应有的排名，其他复制版本不在搜索结果中返回或排在比较靠后的位置。

不过既然交给搜索引擎去判断，就有可能判断失误，把本来是原创的页面当做转载或抄袭的复制内容，因而排名不好。这对原创页面来说确实就像是惩罚，不过不是因为复制内容本身，而是因为搜索引擎判断原创失败。

同站出现复制内容看似没有那么严重，不管搜索引擎判断哪个版本是原创，都是自己网站上的页面。问题是，搜索引擎认为的最合适的URL与SEO站长自己认为的最合适的URL有可能不一样，SEO站长优化和做链接时把精力放在页面A，搜索引擎却认为页面B最好(A与B内容一样)，SEO站长花在页面A上的精力就浪费了很多。

同一个网站内的复制内容会分散权重。既然页面在网站上出现，就必然有链接连向这些页面。如果一篇独特内容只出现在一个网址，网站上的链接就能集中到这一个网址，使其排名能力提高。链接分散到多个网址，会使得每一个网址排名能力都不突出。外部链接也同样，很可能分散到不同URL。

同站复制也造成收录过多没有意义的页面，在域名权重不高的情况下，可能挤占了其他独特内容的收录机会。如果网站上存在大量复制内容，可能使搜索引擎对网站质量产生怀疑，导致惩罚。

3、消除复制内容   

网址规范化问题造成的复制内容，前面已经讨论过。最好的解决办法是，确保一篇文章只对应一个URL，不要出现多个版本，网站所有内部链接统一连到这个URL。某些时候需要使用301重定向。

不是由于网址规范化造成的同站内复制内容，解决的最好方法是选取一个版本允许收录，其他版本禁止搜索引擎抓取或收录。既可以使用robots文件禁止抓取，也可以使用noindex meta robots 标签禁止索引。连向不希望收录的复制内容的链接使用nofollow标签，JavaScript等阻止蜘蛛爬行。

另一个解决复制内容的方法是使用 canonical 标签。canonical 标签既可以应用在网址规范化引起的复制内容上，也可以用在其他情况下。比如网站上同一个款式的鞋子可能分为不同型号，型号之间唯一的区别只是颜色。这些型号生成多个网址，产品说明也几乎完全一样，只是说明颜色的地方不一样。这时就可以使用canonical 标签，用户不会被转向，还是看到不同页面，但搜索引擎会把权重集中到其中一个型号上，从而避免复制内容。

带有Session ID 的页面也可以使用canonical 标签，如页面：http://www.qingpingseo.com/page-a.html 放上代码:

这样，后面无论生成什么 Session ID:

http://www.qingpingseo.com/page-a.html?sessionid=123456

http://www.qingpingseo.com/page-a.html?sessionid=456789

上面的URL都会被搜索引擎把权重集中到：http://www.qingpingseo.com/page-a.html

不同网站之间复制内容解决起来就比较麻烦，因为其他网站上的内容是无法控制的。能够做的只有两点。一是在页面中加入版权声明，要求转载的网站保留版权声明及指向原出处的链接。有些聚合网站会抓取feed自动生成内容，所以在feed中也要加入版权声明和链接。