robots.txt给网站带来了什么好处

    robots.txt给网站带来什么好处，以前，robots.txt作为一类新文件协议，逐渐地被网站所认可并加以利用。那么robots.txt是否能不负所望，为网站带来真正的价值呢？网站的robots.txt文件设置是否合理，以下是分析robots.txt对网站运营有哪些好处?

　　什么是robots.txt

　　网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。一些病毒如malware（马威尔病毒）经常通过忽略robots协议的方式，获取网站后台数据和个人信息。

    搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

　　robots.txt文件对网站有哪些好处

好处1 可以禁止某些文件被搜索引擎索引，可以节省服务器宽带和网站访问速度
    
       2 快速增加网站权重和访问量
　　
       3 为搜索引擎提供一个简洁明了的索引环境

    一个好的网站，必须在根目录下包含一下robots.txt文件，这个文件的作用对所有运营网站的朋友来说是有好处的。在进行网站优化的时候，也经常会使用robots文件把一些内容不想让蜘蛛抓取。