影响抓取的有关要点

网站收录良好与否跟蜘蛛爬行频繁次数、抓取页面有关是众所周知的，
但是对于蜘蛛抓取了哪些页面我们不知道那么我们只能依靠蜘蛛爬行过的访问日志进行分析了。
从日志中我们可以分析出很多的数据，那么今天笔者主要给大家讲解一下影响蜘蛛抓取的因素和爬行时间，
不要小看这个日志它可以帮助你知道网站对于蜘蛛来说，
是不是意味着友好的状态蜘蛛喜不喜欢自己的站，
如果爬行量大的话那么就可以简单的得出网站很合蜘蛛的胃口，
如果蜘蛛几天都不来的话那么就要检查一下，
是不是网站没有蜘蛛喜欢的“食物”了
下面就说说影响抓取的有关要点：

影响蜘蛛抓取因素一，
是否设置404页面

很多的网站对于这个根本不在意
其实按笔者的实战心得来说这个对于一个存在死链的网站有着很重要的意义，
因为他可以帮网站告诉蜘蛛当它爬到死角的时候，
给他一条出来返生之道404页面就是为了避免蜘蛛走进死胡同出不来而准备的，
谁敢保证自己的网站不会有死链的出现死链对于一个网站的影响是很重要的，
如果网站的死链过多而又缺少404页面，那么用站长工具查询分析的时候，
你会发现很多的页面都抓取错误，这一方面说明，
网站对蜘蛛的友好度不够让蜘蛛产生排斥的心理。

所以，404页面一定要给网站来上一个，反正又不占多大的空间，
为什么不搞上呢？

影响蜘蛛抓取因素二是否导出链接过多

一个网站过多的导出链接，
对于网站的权重集中有很大的影响对于蜘蛛的逗留时间有很大的催促作用，
因为当蜘蛛爬行你的网站的时候一般都是由头爬到尾的，
那么蜘蛛爬行有时候是按广度爬行法有时按深度排行法，
当它按广度排行法的时候刚好爬到尾部而还没进入内页，
你就给他来一条导出链接那么蜘蛛也会按照其导出链接出去的，
这样就是你经常看到的蜘蛛来了但是没收录任何页面的原因了。

所以，网站不要设置过多的导出链接，他给你的网站没有任何的利益。

影响蜘蛛抓取因素三，是否有网站地图

网站地图对于蜘蛛来说就是一幅爬行路线图，
当蜘蛛拥有了这张路线图的时候那么在网站上爬行就不会那么的吃力，
而且也不会有随时会转到头晕的感觉。
网站地图是专门给蜘蛛用的，目的就是减少蜘蛛爬行时间，
加快蜘蛛爬行速度毕竟，如果你的网站不配地图的话，
就像自己去一个陌生的地方没有地图，就要靠盲目的找了，
这要花的时间多了多少笔者不知道。

所以，同样的道理，网站地图对于蜘蛛来说也一样的重要，
省什么都不要省了地图他是战前的准备、战中的方向、战后的总结。