站起来活动活动吧~

默认分类

腾讯搜搜搜索引擎不遵守Robot协议

2013年05月21日 19:23:43 · 本文共 291 字阅读时间约 1分钟 · 3,666 次浏览
腾讯搜搜搜索引擎不遵守Robot协议
我在写这篇博文的时候,域名备案还没下来,所以,只能用空间商的三级域名临时访问 我设置了Robot.txt,禁止所有搜索引擎抓取我站点的任何页面,但是今天看统计时,蜘蛛记录中竟然有腾讯SOSO的记录!我随即去腾讯SOSO去搜索我的站点,竟然被收录了,收录的域名就是超长的三级域名,而且每天收录两页。 当我想联系SOSO的时候,发现,竟然找不到联系方式!快照也没有投诉选项! 其他搜索引擎均不抓取,唯独SOSO,他竟然不遵守Robot协议!以下是截图证据: QQ20130521191323 QQ20130521191730后来我检查我的robot文件,发现robots.txt写成了robot.txt,但是其他搜索引擎均没有抓取,唯独SOSO,SOSO是那么弱智吗?现在该问题已经改正,并且挨个禁止了搜索引擎的抓取。  
商业用途请联系作者获得授权。
版权声明:本文为博主「任霏」原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://www.renfei.net/posts/1000014
评论与留言

以下内容均由网友提交发布,版权与真实性无法查证,请自行辨别。

微信搜一搜:任霏博客