首页 » 厦门SEO » Robots的作用,(对SEO而言)

Robots的作用,(对SEO而言)

发布日期:2019-11-28

浏览:278次

什么是Robots.txt?

Robots.txt是一个文件,该文件告诉搜索引擎蜘蛛不要抓取网站的某些页面或部分。

为什么Robots.txt很重要?

大多数网站不需要robots.txt文件。

这是因为搜索引擎通常可以找到您网站上所有重要页面并为其建立索引。

也就是说,您要使用robots.txt文件的主要原因有3个。

阻止非公开页面:

有时您的网站上有一些页面不想被索引。例如,您可能具有页面的草稿版本。或登录页面。这些页面必须存在。在这种情况下,您将使用robots.txt阻止这些页面进入搜索引擎抓取工具。

目录就是一个很好的例子。

您可能希望隐藏那些可能包含敏感数据的内容,例如:

  • /cgi-bin/
  • /scripts/
  • /wp-admin/

最大限度地提高抓取:

通过使用robots.txt屏蔽不重要的页面,蜘蛛可以将更多的抓取预算在实际重要的页面上。

阻止重复的内容

您可能要排除任何包含重复内容的页面。例如,评论,则您不希望搜索引擎为重复的内容建立索引,因为重复的内容可能会影响您的排名。

总之,Robots.txt告诉搜索引擎蜘蛛不要抓取您网站上的特定页面。

本文出自 厦门SEO ,原文链接:https://www.zoujiaye.com/10-html/ 。如若转载请注明出处。

Robots如何写?

Robots如何写?

  robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索 …

2019-11-29

厦门seo优化之友情链接交换

厦门seo优化之友情链接交换

  友情链接交换。在seo优化过程中,友情链接是一个效果较好的提升网站各项数据的途径,接下来厦门seo优化就来说 …

2020-04-03

厦门SEO告诉你新站做seo怎么吸引搜索引擎蜘蛛

厦门SEO告诉你新站做seo怎么吸引搜索引擎蜘蛛

  厦门SEO顾问告诉你新站做seo怎么吸引搜索引擎蜘蛛。相信很多做seo优化的朋友们都知道,搜索引擎蜘蛛是让网站 …

2020-04-02

厦门seo浅谈劲风算法

厦门seo浅谈劲风算法

  seo一个不断推陈出新的过程,所谓道高一尺,魔高一丈,SEO作弊的手法一直走在搜索引擎算法之前,这才有我们需 …

2020-03-19

在线咨询

在线咨询

zoujiaye1994@163.com

在线咨询