| robots文件的作用是什么？ |
|
产品推荐： 1、安全稳定的云服务器租用，2核/2G/5M仅37元，点击抢购>>>； 2、高防物理服务器20核/16G/50M/500G防御仅350元，点击抢购>>> 3、百度智能建站（五合一网站）仅880元/年，点击抢购>>> 模板建站（PC+手机站）仅480元/年，点击抢购>>> 4、阿里云服务器2核2G3M仅99元/年、2核4G5M仅199元/年，新老同享，点击抢购>>> 5、腾讯云服务器2核2G4M仅99元/年、新老同享，点击抢购>>> robots文件的作用是什么？ robots是网站跟爬虫间的协议，用简单直接的txt格式文本形式告诉对应的爬虫被允许的权限。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。（如果网站不需要限制爬虫抓取，则您无需上传robots文件）。 AIPage系统已经自动处理好了robots文件，您无需做任何处置。 |
工信部ICP备案号：湘ICP备2022009064号-1
湘公网安备 43019002001723号
统一社会信用代码：91430100MA7AWBEL41
《增值电信业务经营许可证》B1-20160477