360違反robots協(xié)議或?qū)⒁l(fā)行業(yè)大亂
[提要] ?對于被指責(zé)違反 robots 協(xié)議,由于事實俱在,周鴻祎已然無法否認(rèn),但他同時反駁表示百度在?robots?協(xié)議中禁止360爬蟲,是不正當(dāng)競爭?!白鏊阉骶鸵袷厮阉餍袠I(yè)公認(rèn)的游戲規(guī)則,無視規(guī)則,肆意違反規(guī)則才是真正的不正當(dāng)競爭。
對于近日奇虎360綜合搜索被爆出無視國際通行的?robots?協(xié)議,抓取百度、Google等搜索引擎內(nèi)容,導(dǎo)致眾多網(wǎng)站出于安全和隱私考慮不允許搜索引擎抓取的內(nèi)網(wǎng)信息被泄露一事,資深互聯(lián)網(wǎng)觀察家洪波指出,做搜索就要遵守搜索行業(yè)公認(rèn)的游戲規(guī)則,無視規(guī)則,肆意違反規(guī)則才是真正的不正當(dāng)競爭,這種行為不能從法律和政府監(jiān)管上及時制止,將引發(fā)行業(yè)大亂。
搜索引擎的原理是通過一種爬蟲 spider 程序,自動搜集互聯(lián)網(wǎng)上的網(wǎng)頁并獲取相關(guān)信息。而鑒于網(wǎng)絡(luò)安全與隱私的考慮,每個網(wǎng)站都會設(shè)置自己的?robots?協(xié)議,來明示搜索引擎,哪些內(nèi)容是愿意和允許被搜索引擎收錄的,哪些則不允許。而搜索引擎則會按照?robots?協(xié)議給與自己的權(quán)限來進(jìn)行抓取。?robots?協(xié)議已經(jīng)成為所有搜索引擎必須遵守的國際慣例。這就好比一個正常的人去到別人家里,需要先敲門,得到許可以后才能進(jìn)入客廳。除非有主人的進(jìn)一步許可和邀請,否則你不能擅自進(jìn)入內(nèi)室,或者在別人家里四處遛達(dá)。
因此,當(dāng)兩周前新上線的360綜合搜索無視?robots?協(xié)議,直接抓取未經(jīng)授權(quán)的信息數(shù)據(jù)時,其做法遭到了業(yè)內(nèi)人士的普遍質(zhì)疑。
據(jù)了解,百度網(wǎng)站的?robots?協(xié)議中并未授權(quán)360搜索爬蟲抓取,但是360搜索無視這種設(shè)置,擅自實施抓取行為??紤]到很多內(nèi)容源網(wǎng)站禁止搜索引擎抓取的網(wǎng)頁中大多涉及存放在服務(wù)器上的后臺數(shù)據(jù)庫、用戶穩(wěn)私、密碼等信息。這意味著,360無視內(nèi)容源網(wǎng)站?robots.txt?協(xié)議中的設(shè)定,將導(dǎo)致存放在服務(wù)器上的不該被搜索到的隱私信息被搜索到,甚至直接在搜索結(jié)果中展示出來。
對于被指責(zé)違反?robots?協(xié)議,由于事實俱在,周鴻祎已然無法否認(rèn),但他同時反駁表示百度在?robots?協(xié)議中禁止360爬蟲,是不正當(dāng)競爭。對此洪波表示,robots?協(xié)議賦予網(wǎng)站禁止任何搜索爬蟲的權(quán)利,這跟不正當(dāng)競爭毫無關(guān)系。360無視行業(yè)默認(rèn)規(guī)則,才是真正的不正當(dāng)競爭。
“做搜索就要遵守搜索行業(yè)公認(rèn)的游戲規(guī)則,無視規(guī)則,肆意違反規(guī)則才是真正的不正當(dāng)競爭?!痹诤椴磥?,百度并沒有禁止所有爬蟲抓取問答、知道和貼吧的內(nèi)容,百度只是禁止了不規(guī)矩的、存在潛在安全風(fēng)險的爬蟲,這恰是保護(hù)市場秩序,保護(hù)用戶隱私的合理舉措。他指出,2008年淘寶也曾禁止百度爬蟲,而百度則嚴(yán)格遵守?robots?協(xié)議,停止抓取淘寶網(wǎng)內(nèi)容,并沒有以淘寶不正當(dāng)競爭為借口違反?robots?協(xié)議。
360一直自詡這是用創(chuàng)新的方式做搜索,洪波的一句話表示了他的觀點:“一個連基本游戲規(guī)則都不遵守的搜索引擎,怎么好意思給自己貼上‘創(chuàng)新’的標(biāo)簽。也許在周鴻祎的字典里,無視規(guī)則等于創(chuàng)新?!焙椴ū硎?,這樣的行為不及時從法律和政府監(jiān)管上制止,那360今天違規(guī)抓取的是百度內(nèi)容,明天就可以隨便抓取含有大量隱私的人人網(wǎng)的社區(qū)信息,其他網(wǎng)站和搜索引擎都可以效仿,被京東屏蔽的一淘還可以抓取競爭對手的的商品信息。以此類推,整個互聯(lián)網(wǎng)行業(yè)將大亂。
來源:上海商報 洪波
原創(chuàng)文章,作者:王琪,如若轉(zhuǎn)載,請注明出處:http://m.bcouya.cn/blog/archives/3062