robots文件的作用是什么?

傻妞SEO 88
标签:整站优化
robots.txt,是一个给搜索引擎机器人下指令的文本文件,用于SEO优化,如果用对了,可以确保搜索引擎机器人(也叫爬虫或蜘蛛)正确抓取和索引你的网站页面。
 
1,robots.txt是什么?
 
robots.txt是一个放在网站根目录的纯文本文件,需要自己添加
 
例如:网站的域名是seo.snweike.cn,robots.txt的查看地址是seo.snweike.cn/robots.txt。
 
User-agent: *
 
Disallow: /snwk/
 
Allow: /seo/
 
Sitemap: https://seo.snweike.cn/sitemap.xml
 
robots.txt里包含了一组搜索引擎机器人指令。
 
当搜索引擎机器人访问你网站时,首先会查看robots.txt文件里的内容,然后根据robots.txt的指示进行网站页面的抓取和索引,进而收录某些页面,或不收录某些页面。
 
需要注意的是,robots.txt文件不是那种强制性、必须要做的设置。至于做与不做,为什么要做,做了有什么用,我接下来为大家详细解释。
 
2,robots.txt对SEO有什么用?
 
简单的说,robots.txt有两个功能,允许和阻止搜索引擎机器人抓取你的网站页面。如果没有的话,搜索引擎机器人将对整个网站进行爬行,包括网站根目录的所有数据内容。
 
目的是告诉蜘蛛爬虫,哪些网页可以爬行,哪些网页不可以爬行,特别是那些不想被人看到的网站数据页面。可以利用robots.txt来屏蔽、也可以用来网站闭站保护限制搜索引擎爬取。