1、robots协议是一种存放于网站根目录下的ASCII编码的文本文件。用于对外宣誓主权，规定按照允许范畴访问网站，有效保护网站的隐私。所以您想通过技术手段访问网站的时候，请首先查看robots.txt文件，它告诉你哪些可以访问，哪些信息是不允许访问的。（Robots协议是国际互联网界通行的道德规范）
2、robots主要涉及以下三个部分：
| User-agent | 用户代理 | 1、如是*代表的所有的搜索引擎种类
2、如果是具体的Baiduspider（百度搜索）等，则它可能是被允许或禁止的对象 |
| Allow | 允许 | 代表能够访问的内容 |
| Disallow | 不允许 | 代表不能访问的内容 |
3、robots的几种用法
第一种：禁止所有搜索引擎访问网站的任何内容
User-agent: *
Disallow: /
第二种：禁止某个特定的搜索引擎访问网站的任何内容
User-agent: Baiduspider
Disallow: /
第三种：允许所有搜索引擎访问网站的任何内容
User-agent: *
Allow: /
第四种：禁止部分内容被访问(tmp目录及下面的内容都禁止了）
User-agent: *
Disallow: /tmp
第五种：允许某个搜索引擎的访问
User-agent: Baiduspider
allow:/
第六种：部分允许，部分不允许访问
User-agent: Baiduspider
Disallow: /tmp/bin
User-agent:*
allow:/tmp
希望以上总结对您有帮助！！！！！
相关推荐
-
网站链接的优化工作应该如何进行（seo中链接优化）
在网站SEO优化的过程中，遇到了各种各样的问题。今天，倾巢网络给大家介绍了网站SEO优化过程中死链的发生和解决方法。一般来说，死链接的原因如下： 1、已包含在文章中的为被删除的死链接。遇到这种类型的死链，常见...
-
网络推广引流好做吗（精准引流的网络推广方法）
在做项目的过程中，你可能会面临没人主动来找你，或者客户不精准的问题。作为互联网连续10年创业者，我来分享一下我一直在用的精准引流推广的方法。在说精准引流推广怎么做之前，有很多人问我精准引流推广难不难？答...
-
怎样做网站的优化、排名（seo和竞价排名哪个好，如何做）
首先质量度和网站历史有关，如果老的账户后台，质量度也会受限历史表现。如果是新账户后台，则唯一取决于创意。 提高创意的方法有很多，几个可以提高效果的方法有: 1、善用飘红。让创意中某些词语标红，锁定用户眼球...
-
sem目标关键词优化（seo sem关键词优化）
大家都知道SEM在竞价推广是要花一些钱的，尤其对创业公司来说很尴尬。你说不做吧，搜索推广就这么放弃了有点不甘心；做吧，人力和资金的投入压力却很大。 那如何最大限度降低投入的同时增加推增加推广效果呢？看似简...
-
seo零基础可以自学吗（零基础学seo要多久）
1、seo是做什么的？ 2、零基础能不能学seo（以及怎么学、要注意什么）？ 一、seo是做什么的？ 先说第一个，seo是做什么的？这要从两个方面说，一个是从seo这个运营方式去理解，一个是从seo这个职业去理解。 从运营方...
-
seo外链优化方法（seo教程:外链优化方法和原理介绍）
内容为王，外链为皇，这句话一直成为SEO优化，被热议的对象，透过这句话，我们可以形象的看到，外链在SEO中，具有一定积极的作用。 因此，我们在做外链的过程中，有必要提升外链的优化效果，从而使得SEO优化效果最大...
