前言
只适应于网站伪静态或静态页面(以.html页面结尾的),动态页面(地址带?的)不要使用这个方法!
今天有必要单独写个简单的教程了,最近闲逛的时候看到群里不少伙伴用某CMS建站然后出现的恶意收录问题,收录地址带?的链接,这让不少站长们皱紧了眉头,教各位伙伴一个很简单的解决方案,这里就用到我们的robots.txt文件来屏蔽蜘蛛的爬取,避免恶意链接收录。
问题案例截图
解决方案
1)在网站根目录下新建一个文件命名为【robots.txt】
2)打开编辑文件【robots.txt】加入以下内容:
User-agent: *Disallow: /*?*Disallow: /*&*
特别说明
此解决方案并非彻底解决网站被黑问题,只是屏蔽蜘蛛抓取页面收录,如果网站被黑或者被劫持,还是要找到根源对症下药,如果已经中招的伙伴也不用但心,根据上面步骤先屏蔽蜘蛛抓取,如果是被挂木马文件就找到文件删除,先把恶意页面404后,收录过几天会自动掉的。