| 如何添加Robots.txt-阿里云速成美站网站后台操作教程 |
|
产品推荐： 1、安全稳定的云服务器租用，2核/2G/5M仅37元，点击抢购>>>； 2、高防物理服务器20核/16G/50M/500G防御仅350元，点击抢购>>> 3、百度智能建站（五合一网站）仅880元/年，点击抢购>>> 模板建站（PC+手机站）仅480元/年，点击抢购>>> 4、阿里云服务器2核2G3M仅99元/年、2核4G5M仅199元/年，新老同享，点击抢购>>> 5、腾讯云服务器2核2G4M仅99元/年、新老同享，点击抢购>>>
Robots.txt主要针对爬虫技术，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限。本文旨在介绍添加Robots.txt的途径。 当一个搜索蜘蛛访问一个站点时，它会首先检查该站点的根目录下是否存在Robots.txt，如果存在，搜索蜘蛛就会按照该文件中的内容来确定访问的范围，如果该文件不存在，搜索蜘蛛能访问网站上所有没有被口令保护的页面。如果用户需要让爬虫访问所有页面，请勿配置此文件。 操作步骤
|
工信部ICP备案号：湘ICP备2022009064号-1
湘公网安备 43019002001723号
统一社会信用代码：91430100MA7AWBEL41
《增值电信业务经营许可证》B1-20160477