浏览量:次
Robots文件是当搜索引擎在抓取和访问网站的时候所第一个访问的文件。
我们在这个文件上可以设置搜索引擎。设置哪些页面可以被搜索引擎抓取,还有哪些页面不被搜索引擎抓取。如果是个人网站,涉及到个人隐私的部分可以设置成不被搜索引擎所抓取。这样的话就不会在网站中搜索和检查到。如果是一般性的商业网站,我们会设置成所有的页面都会被抓取。
[声明]本网转载网络媒体稿件是为了传播更多的信息,此类稿件不代表本网观点,本网不承担此类稿件侵权行为的连带责任。故此,如果您发现本网站的内容侵犯了您的版权,请您的相关内容发至此邮箱【306630596@qq.com】,我们在确认后,会立即删除,保证您的版权。