大家好，我是小百，我来为大家解答以上问题。robots.txt文件功能，robots txt文件很多人还不知道，现在让我们一起来看看吧！
1、Anny说的不错，是放在根目录，蜘蛛进入网站是进入网站的根目录。
2、根据根目录的结构来爬取，所以这就体现了首页的重要性，同样的道理。
3、robots.txt是一个蜘蛛的协议，蜘蛛到一个网站之后，第一个就会看一下有哪些是可以爬取的。
4、哪些是禁止爬取的！所以放在根目录是无可厚非的！。
本文到此讲解完毕了，希望对大家有帮助。
大家好，我是小百，我来为大家解答以上问题。robots.txt文件功能，robots txt文件很多人还不知道，现在让我们一起来看看吧！
1、Anny说的不错，是放在根目录，蜘蛛进入网站是进入网站的根目录。
2、根据根目录的结构来爬取，所以这就体现了首页的重要性，同样的道理。
3、robots.txt是一个蜘蛛的协议，蜘蛛到一个网站之后，第一个就会看一下有哪些是可以爬取的。
4、哪些是禁止爬取的！所以放在根目录是无可厚非的！。
本文到此讲解完毕了，希望对大家有帮助。
