一、Robots.txt文件大大俭省效劳器宽带
　　我们都晓得有些搜索引擎都耗用大量宽带，而且对网站没有什么太大的意义，而经过Robots.txt就能够遏止不用要的匍匐工作，假如你的网站是图片站的话，没有设置好Robots.txt文件的话，就会糜费大量的效劳器宽带。
　　二、便当搜索引擎爬起工作
　　假如你的网站内容丰厚，页面很多，设置Robots.txt文件更为重要，比方你有个网站，整个站有50多个G,翻开页面可能会比拟慢，假如不配置好Robots.txt文件的话，蜘蛛匍匐工作就会很费力，而且假如太多的蜘蛛匍匐，以致会影响你网站的正常访问。
　　三、robots.txt文件能够遏止搜索引擎索引页面
　　你能够经过RobotS.txt文件对你的网站非公开页面停止遏止蜘蛛匍匐，假如你的网站后台程序、管理程序很重要不想让他人看到、那么你能够经过Robots.txt停止设置，事实上，关于某些在运转中产生暂时页面的网站来说，假如没有配置Robots.txt文件的话，搜索引擎以至会索引那些暂时文件。
　　四、robots.txt对网站地图链接重要性
　　假如我们把本人的网站地图链接放在robots.txt文件里，那么我们每天就不用到各个搜索引擎的站长工具或者类似的站长局部去提交本人的sitemap文件，各大搜索引擎都发布了对网站地图的新的支持方式，就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google, Yahoo,而中文搜索引擎公司，显然不在这个圈子内。