老蔡SEO博客-免费分享最有价值的SEO技术,奉献于人类,如有SEO爱好者一起交流或湖南SEO优化推广服务,请与娄底SEO(老蔡)交谈!点击这里给我发消息

学习robots文件的作用与标准写法

SEO入门教程 老蔡 1652℃ 0评论

今天让我们来学习robots.txt怎么去写,对于SEO人员必须知道的,新手朋友可以认真学习,湖南SEO老蔡为大家一一讲解一下,略懂的朋友可以看一下老蔡博客的robots文件。

robots文件的作用与标准写法

什么是robots.txt?

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分。

robots.txt文件的作用

1、屏蔽网站内的死链接。

2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

3、阻止搜索引擎索引网站隐私性的内容。

因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。

robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。

robots.txt文件的基本语法只有两条,

第一条是:User-agent,即搜索引擎蜘蛛的名称;

第二条是:Disallow,即要拦截的部分。

下面我们看一下撰写基本的robots.txt文件所需要知道的一些语法和作用。

(1),允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档,命名为robots.txt。

User-agent:*Disallow:或者User-agent:*Allow:/

(2),禁止所有搜索引擎访问网站的所有部分。

User-agent:*Disallow:/

(3),禁止百度索引你的网站。

User-agent:Baiduspider

Disallow:/

(4),禁止Google索引你的网站。

User-agent:Googlebot

Disallow:/

(5),禁止除百度以外的一切搜索引擎索引你的网站。

User-agent:Baiduspider

Disallow:User-agent:*

Disallow:/

(6),禁止除Google以外的一切搜索引擎索引你的网站。

User-agent:Googlebot

Disallow:User-agent:*

Disallow:/

(7),禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

User-agent:*

Disallow:/admin/Allow:/images/

(8),禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

User-agent:*

Disallow:/admin/*.php$Allow:/admin/*.asp$

(9),禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

User-agent:*Disallow:/*?*

需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的 Allow或Disallow行确定是否访问某个URL。

老蔡总结:robots文件写法描述到这里了,我们也可以到百度站长工具里面去写,或者去一些robots文件在线生成的网站上去写,写好之后下载好放在网站根目录下就行了,OK!如果再不能理解,可以学着以下视频去操作,此视频由湖南SEO研究中心西风老师所讲解:

转载请注明:老蔡SEO博客 » 学习robots文件的作用与标准写法

喜欢 (5)or分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 拜读一下,哈哈
    yameimei2015-07-13 08:00 回复