实用的Robots文件写法对SEO的帮助

实用的Robots文件写法对SEO的帮助

许多人发现自己的外贸网站收录地很慢,甚至过了好长时间都没收录,检查了无数次还是没发现问题。这个问题新站的站长碰到的次数最多。我看过他们的网站发现网站没什么大问题,最起码被收录应该是没问题的。后来我问他们的站是什么时候上线的,大多数人都是在建站公司买了模板站后立即就开通使用了。

robots文件写法

不少人误以为,网站尽早开通,尽早被收录。其实这个想法是不对的,应该加个前提就是你的网站以及完善了。搜索引擎对于网站的第一印象是什么重要的,做谷歌SEO必须要考虑到这个。很多模板站刚刚买来是没什么内容的,这时候就提交的话,谷歌蜘蛛过来爬一遍会发现你的网站没什么价值。就算后期你把网站完善起来了,谷歌对于你的网站第一印象不好,还是会影响收录。所以说,无论你是什么网站,最好等网站完善好了在上线,一开始就以好的形象面对谷歌。有的模板网站不支持自己定上线时间,一般是你交了钱,开通后台,你才能编辑网站内容。按这个流程,没给站长完善网站的机会,网站就上线了。如果是这样,你应该在网站根目录加个robots.txt文件来拒绝谷歌爬虫,等网站做好了,再放开这个限制。

Robots文件的创建及其写法

其实创建一个robots文件不难。大家先创建一个空白的txt文档,接着把文件名改为robots就可以了。接着我们要根据自己的网站情况,在这个文档里输入指令来辅助我们做好SEO。大部分网站包括我们的外贸站在刚刚建立时都不是很完善,这时就让谷歌来抓取对于后期优化是不利的。我们可以使用如下指令来拒绝所有的蜘蛛抓取,User-agent:* 分行 Disallow:/。User-agent:用于指定蜘蛛类型,*表示所有,Googlebot指谷歌蜘蛛,Baiduspider指百度蜘蛛。如果用Googlebot替代*则表示只限定谷歌不准抓取。网站完善后,我们想蜘蛛来抓取我们的网站时,可以去掉Disallow:后面的/或者再使用Allow:/指令。Disallow还可以用来限制具体的栏目不准抓取,比如Disallow:/a/就表示a栏目下所有页面不准抓取。当我们要给网站增添新栏目时就可以使用这个写法,先禁止抓取,待完善后再开放。这样操作的目的就是为了给搜索引擎留个好印象,也利于日后的优化工作。搜索引擎一般都有自己的的站长平台如谷歌站长平台和百度站长平台,我们可以使用它们来测试robots文件,加快其生效速度。