在进行seo优化的过程中，也重视名为robots.txt的文件。 具体看看吧。

一. robots.txt基本介绍

robots.txr文件是纯文本文件，可以告诉蜘蛛哪些页面可以攀登(收录)，哪些页面不能攀登。

搜索引擎爬上我们页面的工具被称为搜索引擎机器人【程序robot(spider )】，也被生动地称为“蜘蛛”。

robots.txt文件位于何处？

SEO优化蜘蛛在进入站点页面之前，会访问站点根目录下的robots.txt文件。 这个文件其实是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意抓住所有的页面。 如果存在，“搜索”自动机将根据文件的内容确定访问范围。

此外，robots.txt还必须位于站点的根目录下，并且文件名必须全部为小写。

例如，当访问robots所在网站例如http://www.seojigou.com时，首先要知道该网站上是否存在http://www.seojigou.com/robots.txt这样的文件

robots.txt文件的格式

robots.txt文件包含一条或多条记录。 这些记录由空行分隔。 终端为CR、CR/NL、or NL。 每个记录的格式如下：

请参阅。

在此文件中，可以使用#进行注释。 具体使用方法与UNIX惯例相同。 此文件中的记录通常以一行或多行User-agent开始，后跟几个Disallow行。 详细情况如下。

用户代理：

此项的值用于描述搜索引擎robot的名称。 如果robots.txt文件包含多个User-agent记录，则表示多个robot受协议限制，并且该文件至少需要一个User-agent记录。 如果此项的值设置为*，则此协议对任何计算机都有效，并且robots.txt文件中只有一条记录，如User-agent:*。

以上是关于SEO优化中robots.txt的内容介绍，希望能对大家有所帮助。

深圳市云天下信息技术(集团)有限公司经营、网站优化、SEO优化、优化公司、网站SEO、SEO公司、SEO推广、互联网推广公司、网站推广公司、网络营销公司SEO优化公司，搜索引擎优化，网站排名，快速排名，关键词排名，关键词排名

详情请访问云服务器、域名注册、虚拟主机的问题，请访问西部数码代理商官方网站： zhuji.chenqinet.cn