Dz程序是国内最好用的论坛程序,大家要是想搭建论坛网站,基本都会第一个想到它。但是很多人在用Dz搭建一段时间后,会发现网站被做黑产的人批量注册用户,然后在资料页里面留了各种乱七八糟的内容,都怕搜索引擎会误判导致K站降权或者说不想让蜘蛛抓这些无关网页排名的数据,生怕影响抓取配额,都想着如何禁止搜索引擎抓取用户信息,下面本网站来给大家分享一下!
Discuz论坛如何禁止搜索引擎抓取用户信息资料
1、进入网站后台,找到全局-空间设置-隐私设置-全部设置为仅注册用户可见
这样子游客和蜘蛛就都看不了,自然也就抓取不到了!
2、但是会有一个情况,虽然他们打不开,但是因为打开的页面是跳转到登录页,频繁的让蜘蛛抓取登录页,是存在浪费抓取配额的,那这种怎么杜绝呢?很简单,修改首页、列表页、帖子页的用户名字的a链接,将他们都设置上Nofollow标签,就是告诉搜索引擎禁止抓取和禁止传递权重的意思!例如以下方框里面的链接,都是加上了Nofollow标签的。不知道如何加Nofollow标签的,可以查看这篇文章:nofollow标签有什么用?应用在什么链接
3、设置robots文件,告诉搜索引擎不要去抓任何用户相关的url,这里因为我已经做了伪静态链接,所以我论坛的用户资料链接是https://www.woshihuangbin.com/space-uid-1.html,唯一在变的是uid-后面的数字,所以我们就可以用星号来代替,如:space-uid-*.html。
将 Disallow: /space-uid-*.html 放入robots文件中(robots文件在你们的网站根目录),然后保存。对于想了解清楚Robots协议的可以查看这篇文章:Robots协议如何正确设置
为了验证搜索引擎已经不会去抓取了,我们需要申请一个百度站长后台,然后进去里面,点Robots,检查并更新Robots,输入网址验证一下!
至此,完美设置成功!
评论