首页 » 厦门SEO » Robots如何写?

Robots如何写?

发布日期:2019-11-29

浏览:271次

  robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。前面我们介绍了《robots的作用,(对SEO而言)》,现在厦门seo来讲讲robots如何写。

Robots协议的书写规则:

1、User-agent: 定义搜索引擎的种类,出现在协议文件的第一行。Baiduspider(百度蜘蛛)、360Spider(360蜘蛛)、Sosospider(SOSO蜘蛛)等,“*”星号表示所有,User-agent: * 表示对所有的搜索引擎而言。

2、Disallow: 定义禁止抓取的地址,以“/”开头,斜杠表示网站根目录。冒号后面为关键词,路径里出现该关键词的都会被屏蔽。

屏蔽动态链接:Disallow: *?*

屏蔽所有css文件:Disallow: *.css$,“$”是结束符号,该条规则表示屏蔽所有以.css结尾的文件。

3、Allow: 允许抓取,一般用不到,规则默认就是允许的。

Robots书写格式:

1)第一个英文字母必须是大写。

2)冒号必须是英文状态下的。

3)冒号后面有且只有一个英文状态下的空格。

厦门SEO提醒您,在写robots协议的时候一定要严格安照书写规则来写,这是搜索引擎给出来的规定,不是这个格式,它不认识。

robots文件写法参考
robots文件写法参考

如果不确定自己写的协议是否正确,可以通过百度站长平台来检测。

https://ziyuan.baidu.com/robots/intro

在网址后面直接加上“/robots.txt”即可查看(https://www.zoujiaye.com/robots.txt)。Robots文件是规范搜索引擎收的,如果没有规范,搜索引擎随便抓取,可能会抓取到大量的垃圾页面,这些垃圾页面被收录后,搜索引擎会认为网站是低质量的,会影响到网站的权重与排名。

本文出自 厦门SEO ,原文链接:https://www.zoujiaye.com/11-html/ 。如若转载请注明出处。

Robots的作用,(对SEO而言)

Robots的作用,(对SEO而言)

什么是Robots.txt? Robots.txt是一个文件,该文件告诉搜索引擎蜘蛛不要抓取网站的某些页面或部分。 为什么Robots …

2019-11-28

厦门seo优化之友情链接交换

厦门seo优化之友情链接交换

  友情链接交换。在seo优化过程中,友情链接是一个效果较好的提升网站各项数据的途径,接下来厦门seo优化就来说 …

2020-04-03

厦门SEO告诉你新站做seo怎么吸引搜索引擎蜘蛛

厦门SEO告诉你新站做seo怎么吸引搜索引擎蜘蛛

  厦门SEO顾问告诉你新站做seo怎么吸引搜索引擎蜘蛛。相信很多做seo优化的朋友们都知道,搜索引擎蜘蛛是让网站 …

2020-04-02

厦门seo浅谈劲风算法

厦门seo浅谈劲风算法

  seo一个不断推陈出新的过程,所谓道高一尺,魔高一丈,SEO作弊的手法一直走在搜索引擎算法之前,这才有我们需 …

2020-03-19

在线咨询

在线咨询

zoujiaye1994@163.com

在线咨询