手机浏览器扫描二维码访问
这并不是对百度的进攻性策略,而是一种自保的防御手段。
前世曾爆出国内某搜索引擎大量采用快照的形式来承接用户的点击跳转,大量屏蔽了用户对原网站的访问的事件。
快照本来是搜索引擎为了应对一些网络连接或是网站失效等问题,将网站内容缓存在搜索引擎服务器上提供给用户,以保障用户搜索体验的方式。
但是刻意的滥用,就会变成对原网站的剥削吸血,用了你的内容还不给你流量,把流量带来的各类收益(例如业务推广、广告收入等)全部拦截。
也许有人会问,那既然这样,能不能就不让搜索引擎爬取网站内容,这样就没有快照,用户也只能来到网站进行访问。
这么干不是不行,可以采取robots协议实现。
简单来说,在搜索行业里存在一种robots协议,按照协议规范在网站的目录下部署robots.txt文件,告知搜索引擎的爬虫哪些内容不应被爬取。
即便有robots协议,爬虫还是可以爬取网站内容,但是搜索引擎服务却不能将爬取到的内容进行展现,否则就可以直接去法院把搜索引擎公司告得灰头土脸。
但由于在PC互联网时代的中后期,搜索引擎就是最大的互联网流量入口,拥有互联网上最强大的话语权。
中小网站如果拒绝搜索引擎的爬取,其实和自绝于互联网没啥两样。
如果网站的拥有者还希望网站能被人们访问到的话,就只能乖乖接受搜索引擎的爬取,并祈祷搜索引擎公司足够讲道理,不过分使用快照等方式进行截流。
其实robots协议里存在白名单的机制,看上去嘉盛可以只允许自家的搜索引的爬虫进行爬取,拒绝其他搜索引擎的爬虫。
但实际上这一点也是行不通的。
前世为了打击360,百度就曾使用robots协议白名单,禁止360抓取百度百科、百度贴吧和百度知道的内容,而谷歌、Bing、搜狗和搜搜等搜索引擎还可以自由抓取。
360认为百度对robots协议的使用具有歧视性而拒绝遵守,百度也因此起诉360不遵守robots协议。
本来robots协议作为行业通用守则,虽然不具备明确的法律效力,但是依然非常具有参考价值,百度觉得赢面很大。
但双方对簿公堂后,由于百度难以“证明竞争对手的行为具有不正当性”,无法支持采取针对性限制360爬虫措施的正当性,所以最终没能借助法律手段达到阻拦360的目的。
2014年8月7日法院对百度诉360案做出的一审判决:回百度有关不正当竞争的诉求,判定其必须修改爬虫协议。
同时,法院认为360强制采用网页快照,已经超出网页快照的合理范围,违反了反不正当竞争法,因而判决向百度赔偿70万元。
陆道升知道采用robots协议白名单的方式最终不会有效果,也没有兴趣辛苦嘉盛的法务部累死累活就弄个70万的赔偿回来,比起流量损失真不够塞牙的。
还是直接采取反爬虫机制来从根子上保护自家的内容比较靠谱。
至于说反爬虫机制会不会影响自家搜索引擎的爬取,嘿嘿。
说完反爬虫后又讲了一会儿,陆道升完成了对主要想法的说明,坐下喝了口水润了润喉咙。
“呼……”
“我今天就说这些吧,下面谁还有事情想说的?”
一直以来高层会议发言最少的张小龙居然率先开口了。
“道升,我有个事想讨论一下……”看小说,来小燕文学,关闭阅读模式,体验高速阅读!
传奇机师我的后来者们,不要畏惧!也不要害怕!虽然这条路上充满了恐怖的未知,但传奇的荣耀将永远与你们同在!我们—也将与你们同在!...
六年前,陶舒予负气离开,并发誓再也不要遇见这该死的男人。六年后,老天爷却偏偏让她巧遇齐宸渊。放开我,你挡住我要治病了。我就是你的病人,你治我就好。某人不要脸的凑过来,强行而霸道。...
新作无上神兵已上传,喜欢的读者请收藏养肥再杀!进化!进化!!!在生存与死亡黑暗与光明在神奇恐怖的镇妖塔中进化!你玩过电脑单机游戏吗?古代背景的刀剑封魔录三国赵云传轩辕剑!等等等等这是一个传说中的世界,也是一个神奇的世界!也是镇妖塔中的世界!z国传说中的武功剑法道术奇门异功层出不穷!赵炎,一个被判了四百八十年死囚,宝塔世界的黑衣使者问他什么是你的道?赵炎冷冷的笑了,他笑得像一只寒风中仰天长啸的孤狼我刀,即我道!!!...
仙之雇佣军由作者写字板创作全本作品该小说情节跌宕起伏扣人心弦是一本难得的情节与文笔俱佳的好书919言情小说免费提供仙之雇佣军全文无弹窗的纯文字在线阅读。...
修真万年,成就至尊仙帝,而今带着万载记忆重生繁华都市。这一世,我只求守护所爱之人,弥补前世遗憾。待我重踏仙途,可让神魔下黄泉!...
大家都觉得这本小说好骚啊!当年,他只能眼睁睁地看着挚爱的女孩,被情敌逼迫得跳楼自杀,如今,他携带无敌世间的力量归来...