上午好,今天真是美好的一天。
登录注册
2013-05-21 11:23:43

腾讯搜搜搜索引擎不遵守Robot协议

我在写这篇博文的时候,域名备案还没下来,所以,只能用空间商的三级域名临时访问 我设置了Robot.txt,禁止所有搜索引擎抓取我站点的任何页面,但是今天看统计时,蜘蛛记录中竟然有腾讯SOSO的记录!我随即去腾讯SOSO去搜索我的站点,竟然被收录了,收录的域名就是超长的三级域名,而且每天收录两页。 当我想联系SOSO的时候,发现,竟然找不到联系方式!快照也没有投诉选项! 其他搜索引擎均不抓取,唯独SOSO,他竟然不遵守Robot协议!以下是截图证据: QQ20130521191323 QQ20130521191730后来我检查我的robot文件,发现robots.txt写成了robot.txt,但是其他搜索引擎均没有抓取,唯独SOSO,SOSO是那么弱智吗?现在该问题已经改正,并且挨个禁止了搜索引擎的抓取。  

评论与留言

以下内容均由网友提交发布,版权与真实性无法查证,请自行辨别。
本站有缓存策略,时间约2小时后能看到您的评论。本站使用自动审核机制,如果您的内容包含广告/谩骂/恐怖/暴力/涉政等不和谐内容将无法展示!
微信订阅号
扫码关注「任霏博客」微信订阅号
反馈与讨论
感谢您的关注与反馈
如果您发现了BUG、安全漏洞、或者希望讨论技术内容,请点击下方链接对我进行反馈。
feedback