robots文件夹的作用有哪些?

一、有效节省服务器资源

通常整个网站会有很多搜索引擎蜘蛛爬去，而有一些并非我们想要的，这样造成了服务器带宽的浪费，特别是图片站或者一些附件较多的网站，robots不设置好会消耗很大的服务器资源，如果我们设置好Robots.txt屏蔽不必要的蜘蛛那么将大大节省我们的服务器资源。

二、搜索引擎爬取的指路灯

对于许多不懂的新手，设置Robots.txt文件更为重要，因为我们的网站文件随着发展会不断变得更大，网站文件变得越来越大可能会导致打开页面的速度相对初期网站打开速度较慢，如果robots设置好的话，搜索引擎蜘蛛会很快的爬取到相应的信息，否则就会很费力，甚至蜘蛛过多会导致网站访问受到影响。

三、网站隐私保护

Robots可以告诉搜索引擎什么该爬取，什么不该爬取，因为我们的网站涉及到一些隐私的内容，这点就必须要在Robots上说明，让蜘蛛不能抓取这些页面信息，以保证我们网站的一些因素不被搜索引擎公开。

四、对Sitemap产生重要作用

通常我们会在Robots中写到 ，这样一来也代表着我们通过Robots告诉搜索引擎跟着网站地图抓取，这样对我们的网站收录增加起到非常重要的作用。

五、保护网站的权重不被丢失

为什么这么说呢?因为我们在看Robots.txt和nofollow的时候2者都有一定的相似程度，就是屏蔽蜘蛛，那么我们可以让搜索引擎对于某个页面不被收录，因为我们如果有死链接，那么可以用robots直接屏蔽掉，而这样带来的好处是不影响SEO，另外一点，如果某些页面带有版权链接，或者插件中含有，并非我们希望给予的，那么也可以通过Robots直接屏蔽掉保护我们的网站权重不被丢失。