添加robots.txt文件减少搜索引擎蜘蛛乱抓取

程序交流
2 1026

首先来解释下robots.txt是什么?robots.txt有什么作用?

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

以上内容来自百度百科。

给大家一个示范的robots.txt也就是本站的robots.txt文件:

User-agent: AhrefsBot
Disallow: /

Sitemap:http://hao.ym-ym.com/sitemap.xml

User-agent: *
Disallow:/top.html?type=today
Disallow:/top.html?type=art
Disallow:/add.html
Disallow:/dans/2.html
Disallow:/dans/1.html
Disallow:/admin.php

如何添加?

在你的根目录 新建文件夹 重命名:robots.txt

吧上面代码复制进去即可

然后去百度 更新robots.txt

  • 空心 空心
    2019-07-15 11:24:59
    #1楼 回复

    支持一波1!

  • 壹世SEO/www.ym-ym.com 壹世SEO/www.ym-ym.com 高级授权
    2019-07-15 12:45:47
    #2楼 回复

    谢谢!

  • 自助授权 官方qq群826939491 Guojiz网址新版演示 Guojiz成功案例展示 影视速看APP
    精选帖子
    国际导航采集扩展 107
    Guojiz下载系统V1.2版本 981
    api接口使用教程【v3.1.3】 654
    使用本系统搭建违法,触犯,站点公告 675
    虚拟主机安装出现数据连接失败解决方案 555
    国际网址导航新版标签大全 2140
    关于2.4之前版本想转3.0新版教程 1657
    国际网址导航全新3.2版本下载(20200316) 6077
    Guojiz网址导航系统V2.3.7正式版 1624
    热门帖子
    Guojiz下载系统V1.2版本 981
    网站地图打开是代码如何解决? 98
    这是不是BUG啊,求助 求助 974
    安装完毕,提示错误 963
    https网站引入http文件导致提示证书不安全,解决方案 957
    提一个小建议,嘿嘿 950
    导航系统的ioc图片建议 95
    模板开发教程人人都会 930
    版面两边能不能增加个广告位呢? 93