在网站建设优化中，许多优化人员都忽略了Robots文件的设置，认为robots文件无关紧要。其实我们在网站优化中把robots文件用好了，可以让搜索引擎蜘蛛爬虫更好地认识网站的目录和结构，作用非常之大，下面我们就讲一下robots文件的作用。
一、解释什么是robots文件
robots是一个文本文件，放置在网站根目录下，它的作用就是告诉蜘蛛爬虫哪些页面被搜索引擎抓取，哪些页面不被搜索引擎抓取。这个文件也被称为“爬虫协议”。
二、robots文件格式
User-agent:搜索引擎名
Disallow:不允许搜索的目录或URL
Allow:允许搜索的目录或URL
三、robots文件的作用
1、控制搜索引擎爬虫的访问范围，避免爬虫抓取无关紧要的页面。
2、网站如果有音视频文件，可以通过robots文件禁止抓取，节省服务器资源，让服务器运行更加畅通。
3、可以屏蔽一些死链接，更好的让搜索引擎抓取网站其他内容。
4、节省网站资源，减少搜索引擎爬虫的抓取频率。
以上是robots文件比较核心的作用，robots还有很多其它作用，大家可以多了解一下robots的其它用途。以便更好地进行网站优化