360違反robots協(xié)議或?qū)⒁l(fā)行業(yè)大亂

[提要] ?對于被指責(zé)違反 robots 協(xié)議，由于事實(shí)俱在，周鴻祎已然無法否認(rèn)，但他同時(shí)反駁表示百度在?robots?協(xié)議中禁止360爬蟲，是不正當(dāng)競爭。“做搜索就要遵守搜索行業(yè)公認(rèn)的游戲規(guī)則，無視規(guī)則，肆意違反規(guī)則才是真正的不正當(dāng)競爭。

對于近日奇虎360綜合搜索被爆出無視國際通行的?robots?協(xié)議，抓取百度、Google等搜索引擎內(nèi)容，導(dǎo)致眾多網(wǎng)站出于安全和隱私考慮不允許搜索引擎抓取的內(nèi)網(wǎng)信息被泄露一事，資深互聯(lián)網(wǎng)觀察家洪波指出，做搜索就要遵守搜索行業(yè)公認(rèn)的游戲規(guī)則，無視規(guī)則，肆意違反規(guī)則才是真正的不正當(dāng)競爭，這種行為不能從法律和政府監(jiān)管上及時(shí)制止，將引發(fā)行業(yè)大亂。

搜索引擎的原理是通過一種爬蟲 spider 程序，自動(dòng)搜集互聯(lián)網(wǎng)上的網(wǎng)頁并獲取相關(guān)信息。而鑒于網(wǎng)絡(luò)安全與隱私的考慮，每個(gè)網(wǎng)站都會(huì)設(shè)置自己的?robots?協(xié)議，來明示搜索引擎，哪些內(nèi)容是愿意和允許被搜索引擎收錄的，哪些則不允許。而搜索引擎則會(huì)按照?robots?協(xié)議給與自己的權(quán)限來進(jìn)行抓取。?robots?協(xié)議已經(jīng)成為所有搜索引擎必須遵守的國際慣例。這就好比一個(gè)正常的人去到別人家里，需要先敲門，得到許可以后才能進(jìn)入客廳。除非有主人的進(jìn)一步許可和邀請，否則你不能擅自進(jìn)入內(nèi)室，或者在別人家里四處遛達(dá)。

因此，當(dāng)兩周前新上線的360綜合搜索無視?robots?協(xié)議，直接抓取未經(jīng)授權(quán)的信息數(shù)據(jù)時(shí)，其做法遭到了業(yè)內(nèi)人士的普遍質(zhì)疑。

據(jù)了解，百度網(wǎng)站的?robots?協(xié)議中并未授權(quán)360搜索爬蟲抓取，但是360搜索無視這種設(shè)置，擅自實(shí)施抓取行為。考慮到很多內(nèi)容源網(wǎng)站禁止搜索引擎抓取的網(wǎng)頁中大多涉及存放在服務(wù)器上的后臺(tái)數(shù)據(jù)庫、用戶穩(wěn)私、密碼等信息。這意味著，360無視內(nèi)容源網(wǎng)站?robots.txt?協(xié)議中的設(shè)定，將導(dǎo)致存放在服務(wù)器上的不該被搜索到的隱私信息被搜索到，甚至直接在搜索結(jié)果中展示出來。

對于被指責(zé)違反?robots?協(xié)議，由于事實(shí)俱在，周鴻祎已然無法否認(rèn)，但他同時(shí)反駁表示百度在?robots?協(xié)議中禁止360爬蟲，是不正當(dāng)競爭。對此洪波表示，robots?協(xié)議賦予網(wǎng)站禁止任何搜索爬蟲的權(quán)利，這跟不正當(dāng)競爭毫無關(guān)系。360無視行業(yè)默認(rèn)規(guī)則，才是真正的不正當(dāng)競爭。

“做搜索就要遵守搜索行業(yè)公認(rèn)的游戲規(guī)則，無視規(guī)則，肆意違反規(guī)則才是真正的不正當(dāng)競爭?！痹诤椴磥?，百度并沒有禁止所有爬蟲抓取問答、知道和貼吧的內(nèi)容，百度只是禁止了不規(guī)矩的、存在潛在安全風(fēng)險(xiǎn)的爬蟲，這恰是保護(hù)市場秩序，保護(hù)用戶隱私的合理舉措。他指出，2008年淘寶也曾禁止百度爬蟲，而百度則嚴(yán)格遵守?robots?協(xié)議，停止抓取淘寶網(wǎng)內(nèi)容，并沒有以淘寶不正當(dāng)競爭為借口違反?robots?協(xié)議。

360一直自詡這是用創(chuàng)新的方式做搜索，洪波的一句話表示了他的觀點(diǎn)：“一個(gè)連基本游戲規(guī)則都不遵守的搜索引擎，怎么好意思給自己貼上‘創(chuàng)新’的標(biāo)簽。也許在周鴻祎的字典里，無視規(guī)則等于創(chuàng)新?！焙椴ū硎?，這樣的行為不及時(shí)從法律和政府監(jiān)管上制止，那360今天違規(guī)抓取的是百度內(nèi)容，明天就可以隨便抓取含有大量隱私的人人網(wǎng)的社區(qū)信息，其他網(wǎng)站和搜索引擎都可以效仿，被京東屏蔽的一淘還可以抓取競爭對手的的商品信息。以此類推，整個(gè)互聯(lián)網(wǎng)行業(yè)將大亂。

來源：上海商報(bào) 洪波