信号灯厂家
免费服务热线

Free service

hotline

010-00000000
信号灯厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

一个站长的robotstxt亲身痛苦经历

发布时间:2020-07-24 11:18:51 阅读: 来源:信号灯厂家

今天来讲一个大家十分熟习的东西robot文件,相信大家对这个不陌生吧!但是我发现很多站长朋友们忘记了这个文件的重要性,而且在设置的时候很随便。这类理解是失误的.我自已在一边听课一边自学,今天碰到了这个问题;随后我就咨询了一名seo的老师,我问他:老师这个robots重要吗?当时,老师苦口婆心的对我说了1句;robots既可以成绩你的网站;也可以毁掉你的网站。所以嘛,还是很重要的。

言归正传吧!来和大家聊聊robots在我们网站的一些情况;在seo研究中心有一名和我是比较好的朋友,有一次,他的网站有收录上千,突然一个下午收录为0了。当时他慌了,由于网站收录没有了;流量也没有了,辛辛苦苦的忙了一个多月。到头来却发现;竹篮子打水一场空。当时他意气消沉;就跑到群里聊天,到处去问;我网站被k了,求解决方法啊!心急如焚,然后,有很多人帮他忙;检查缘由,经过一段很长的时间检查,大家发现了缘由是他的网站robots屏蔽了百度蜘蛛抓取网站页面。

为何会出现这种情况呢?缘由在于它在做网站的时候robots是完全屏蔽了百度蜘蛛抓取。大家知道一个事实吧!就是当你写好了规则;屏蔽了百度蜘蛛的时候,可以发现百度还是会抓取的。道理很简单,百度不可能做到人一样智能化。所以你屏蔽蜘蛛他还是会来抓取的。但是你也别慌啊!等过段时间百度就会把已抓到的页面、但是你robots文件中有屏蔽的页面;他会从索引库删除,百度也会有一个发现的进程;到改正和纠错的进程。

当时,我就记得他说了一句话,就是为何会去屏蔽百度蜘蛛?由于网站刚做;而且他本人也学习了seo,所以也听过seo的老师讲过一些这方面的内容,明白自已做一个新站可以暂时屏蔽网站蜘蛛;等网站做好了再提交给搜索引擎,并且把robots文件修下,允许百度抓取;可能是他忘记了,把这关键一步给忘记了。致使他辛苦做的网站和外链;被百度删除了收录的页面,那段时间很痛苦;他全部人情绪也是十分低落的。

今天,我通过这个朋友的经历也是希望大家能够去重视robots这个问题?很重要,请不要忽视了;顺带自已谈谈我做的robots的一些经验,我记得网站在新建的时候。我自已也是没有注意robots文件这个东西,觉得无所谓啊!然后昨天听老师讲到了这个问题;我自已开始重视了,然后我开始把一些很垃圾的页面和图片全部给屏蔽了,页面主要是一些动态页面,大家都知道;百度喜欢静态的;如果你网站是动态;会造成搜索引擎屡次抓取,给搜索引擎印象又不友好。浪费蜘蛛时间和资源。你说他能对你又好吗?还有图片也是一些网上收集的图片;由于百度把一些原创图片给抓取了,如果你网站再用;这会致使百度认为你网站是抄袭的和伪原创的。这会致使百度不收录你的网站。

说了这么多,我个人建议就是希望广大的站长朋友能够去重视这个问题!由于很重要;如有不懂怎样制作?可以去我博客留言,我会回复解答!希望你能够做好robots。

文章作者:SEO每说,来源:xuec/seo/post/0506

欢迎加入seo交换群:208564536一起分享和交换seo。

版权声明:转载请注明文章来源:谢谢合作。

贵州治疗癫痫病价格

杭州癫痫病专科医院

石家庄癫痫病医院

相关阅读