2013-05-21 19:23:43

腾讯搜搜搜索引擎不遵守Robot协议


腾讯搜搜搜索引擎不遵守Robot协议
我在写这篇博文的时候,域名备案还没下来,所以,只能用空间商的三级域名临时访问 我设置了Robot.txt,禁止所有搜索引擎抓取我站点的任何页面,但是今天看统计时,蜘蛛记录中竟然有腾讯SOSO的记录!我随即去腾讯SOSO去搜索我的站点,竟然被收录了,收录的域名就是超长的三级域名,而且每天收录两页。 当我想联系SOSO的时候,发现,竟然找不到联系方式!快照也没有投诉选项! 其他搜索引擎均不抓取,唯独SOSO,他竟然不遵守Robot协议!以下是截图证据: QQ20130521191323 QQ20130521191730后来我检查我的robot文件,发现robots.txt写成了robot.txt,但是其他搜索引擎均没有抓取,唯独SOSO,SOSO是那么弱智吗?现在该问题已经改正,并且挨个禁止了搜索引擎的抓取。  

商业用途请联系作者获得授权。
版权声明:本文为博主「任霏」原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://www.renfei.net/posts/1000014
评论与留言
以下内容均由网友提交发布,版权与真实性无法查证,请自行辨别。

本站有缓存策略,时间约2小时后能看到您的评论。本站使用自动审核机制,如果您的内容包含广告/谩骂/恐怖/暴力/涉政等不和谐内容将无法展示!


本站有缓存策略,时间约2小时后能看到您的评论。本站使用自动审核机制,如果您的内容包含广告/谩骂/恐怖/暴力/涉政等不和谐内容将无法展示!