当一个搜索机器人（也叫蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否有robots.txt这个文件，搜索机器人就会优先按照该文件中的内容来确定访问的范围；如果文件不存在，那么搜索机器人就沿着网站页面的链接抓取。
robots.txt必 须放置在网站文件的根目录下，而且文件名需小写字母命名。
什么情况下需要修改维护robots.txt文件：
当你在网站中新增加文件夹，且该文件夹不想被搜索引擎抓取时，可以通过记事本打开修改robots.txt文件，添加Disallow: /文件夹名称/即可。
一般情况下使用robots.txt是网站考虑不让搜索引擎抓取多数出于保护隐私、增加数据安 全性、为搜索引擎关键词排名索引优化而进行的工作，蜘蛛可以通过robots.txt按照网站管理者的思路，哪些文件夹设置为拒绝抓取，哪些可以检索收录就一目了然了。
当然，耿真seo在这里也给小白站长一点建议，不要太依赖robots.txt，尽量不要把后台以及涉及到很隐秘以及安全敏感的路径写在robots.txt文件里，如有可以单独保存该文件，需要的时候再次上传就可以，如果写在robots.txt里，不仅仅是蜘蛛机器人，也会被黑客利用哦。
鲁ICP备15001313号
鲁公网安备 37039402000105号