网站排名优化网
网站robots文件一般有robots文件的,主要分为四部分:
1、在网站设置-网站头部、底部、左侧都能
2、禁止抓取互联网上已存在的网站或已经被禁止抓取的网站或已经被百度收录的网站,或被蜘蛛所遗漏的网站
3、禁止蜘蛛抓取无关的网站或很复杂的网站
4、禁止蜘蛛抓取您网站上提供给蜘蛛程序的网站,比方说您已提交了禁止百度蜘蛛抓取的链接。
Robots文件优化是一个网站基础的东西,没有robots文件的网站,会因为它禁止百度蜘蛛抓取,但没有robots文件的网站,依然收录,即使百度蜘蛛没有抓取,您的网站也可正常访问。
我们在做网站robots文件优化的时候,需要针对网站的情况来选择,比方说我们自己的网站,如果我们在初期设置了禁止百度蜘蛛抓取的原因,那么我们还是不要去设置的,因为百度对于网站robots文件是非常的敏感的,你设置了禁止蜘蛛抓取的原因,百度蜘蛛就会减少抓取的频率,收录也会减少。
所以在设置禁止蜘蛛抓取的时候,需要留意禁止蜘蛛抓取的原因,只有这样,我们才可以合理的去调整我们设置的内容,让我们的网站更加的符合百度蜘蛛的胃口。
3、网站首页、头部、底部都需要nofollow
虽然说百度蜘蛛已经很聪明了,但是还有很多的站长在网站底部堆积了很多nofollow标签,以达到屏蔽百度蜘蛛抓取的效果。
其实对于这样的网站,百度蜘蛛亦是非常反感的,所以我们在设置rel=”nofollow”的时候需要留意。
rel=”nofollow”的意思是告诉百度不要追踪此网页上的链接,也不要追踪此特定链接的权重,rel=”nofollow”的意思是告诉百度不要追踪此特定链接的权重,让百度蜘蛛不追踪此特定链接。
当然如果你还没有设置这一个标签的话,你可以通过百度站长工具中的”抓取异常“查看百度蜘蛛抓取的异常情况,然后再根据具体的情况去设置。
4、在robots文件中屏蔽某些网站的模板
5、合理使用nofollow
我觉得对于这样的网站我们可以通过使用rel=”nofollow”屏蔽一些网站模板中不想让百度蜘蛛抓取的页面,此类方式是一种非常不错的方式。
