【法律案例】3B搜索大戰(zhàn) 引發(fā)Robots協(xié)議之爭

【法律案例】3B搜索大戰(zhàn)引發(fā)Robots協(xié)議之爭

大量用戶使用360搜索訪問百度貼吧、百度知道、百度百科、百度文庫，于是一度占據(jù)80%市場份額的搜索企業(yè)百度針對新興的360搜索，很快采取了兩項(xiàng)措施：第一，設(shè)置白名單機(jī)制的Robots協(xié)議，允許谷歌、必應(yīng)、搜狗、搜搜在內(nèi)的搜索引擎訪問百度的上述網(wǎng)站，唯獨(dú)不允許360搜索引擎訪問。第二，2012年10月，百度以360違反“Robots協(xié)議”為由，起訴360不正當(dāng)競爭，并索賠1億元人民幣。時隔一年，該案在北京一中院開庭審理。這個訴訟案牽涉業(yè)界兩個知名的互聯(lián)網(wǎng)企業(yè)，索賠金額創(chuàng)新高，并將一個原本不起眼的行業(yè)術(shù)語——Robots協(xié)議，一下子推到了世人面前。業(yè)界對該案高度關(guān)注，因?yàn)檫@場訴訟的結(jié)果意味著Robots協(xié)議——一個業(yè)界約定俗成的通訊標(biāo)準(zhǔn)是否會法律化，是否上升為國家意志，以及將會如何決定未來互聯(lián)網(wǎng)的發(fā)展走向。該案的宣判結(jié)果在這個網(wǎng)絡(luò)化生存的時代，將會影響到每一個人。什么是Robots協(xié)議？根據(jù)百度百科，Robots協(xié)議的解釋如下：“Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(RobotsExclusionProtocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而不是作為搜索引擎之間互相限制和不正當(dāng)競爭的工具。Robots協(xié)議起源于上世紀(jì)90年代，那時搜索技術(shù)剛剛出現(xiàn)，搜索蜘蛛(即搜索機(jī)器人，Robots)如何抓取數(shù)據(jù)還沒有統(tǒng)一的規(guī)范。那個時代，建設(shè)網(wǎng)站所用的服務(wù)器設(shè)備普遍計(jì)算能力弱、存儲空間小，如果搜索蜘蛛為了信息實(shí)時更新而頻繁索引網(wǎng)站數(shù)據(jù)，會造成服務(wù)器設(shè)備負(fù)荷過重，導(dǎo)致網(wǎng)站對用戶的訪問反應(yīng)過慢。因此，在1994年，一位荷蘭籍網(wǎng)絡(luò)工程師MartijnKoster首次提出Robots協(xié)議。對于當(dāng)時的網(wǎng)站來說，設(shè)置Robots協(xié)議主要有三個目的：首先，是保護(hù)網(wǎng)站內(nèi)部信息不被搜索引擎爬蟲抓?。黄浯?，是引導(dǎo)爬蟲不要抓取對用戶沒有價值的信息；最后，是為了保護(hù)中小網(wǎng)站的流量平衡，避免爬蟲快速抓取給網(wǎng)站服務(wù)器帶來過大壓力。由此可以看出，Robots協(xié)議帶有濃厚的時代感和歷史局限性。進(jìn)入到21世紀(jì)后，由于IT設(shè)備的計(jì)算能力飛速提高，搜索引擎蜘蛛索引網(wǎng)站數(shù)據(jù)對服務(wù)器造成的影響已經(jīng)小到可以忽略不計(jì)。而且，隨著搜索引擎在互聯(lián)網(wǎng)里的地位越來越重要，各個網(wǎng)站都需要按照搜索引擎的索引規(guī)則進(jìn)行優(yōu)化，以盡量讓搜索引擎找到，并使自己盡可能出現(xiàn)在搜索結(jié)果的前列。因此，除了在存儲用戶登錄信息等隱私數(shù)據(jù)的地方設(shè)置禁止搜索引擎訪問的Robots協(xié)議之外，網(wǎng)站都會歡迎搜索引擎訪問自己的網(wǎng)站。Robots協(xié)議為什么沒被采納為國際標(biāo)準(zhǔn)？Robots協(xié)議雖然名為“協(xié)議”，但只是行業(yè)慣用的說法。它既不是法律意義上的協(xié)議，也不是國際組織采納的標(biāo)準(zhǔn)，因此不受任何機(jī)構(gòu)保護(hù)。Robots協(xié)議的創(chuàng)始人MartijnKoster說：“Robots協(xié)議是一個未經(jīng)標(biāo)準(zhǔn)組織備案的非官方標(biāo)準(zhǔn)，它也不屬于任何商業(yè)組織。本協(xié)議不受任何機(jī)構(gòu)保護(hù)，所有現(xiàn)有和未來的機(jī)器人不一定使用本協(xié)議?！逼鋵?shí)，早在1997年，MartijnKoster曾向IETF(互聯(lián)網(wǎng)工程任務(wù)組)提交申請，試圖把Robots協(xié)議作為該組織規(guī)范，但被IETF拒絕。之后，國際電信聯(lián)盟(ITU)、萬維網(wǎng)聯(lián)盟(W3C)的規(guī)范也同樣拒絕采納Robots協(xié)議。歐美電信專家擔(dān)心，由于Robots協(xié)議包含排斥性條款，企業(yè)可能會利用Robots協(xié)議的條款限制競爭，從而將后起競爭者擋在門外。百度Robots協(xié)議有什么特殊的地方？2008年6月，雅虎、谷歌和微軟共同通過非官方途徑宣布采納Robots作為標(biāo)準(zhǔn)，各大搜索引擎公司開始對Robots協(xié)議進(jìn)行商業(yè)研究，以期幫助搜索引擎更好地抓取到信息，為用戶提供服務(wù)。各種公司標(biāo)準(zhǔn)的Robots協(xié)議開始產(chǎn)生，例如：著名搜索引擎谷歌在自己的Robots協(xié)議中增加了一個指令“archive”，以此限制Google是否保留網(wǎng)頁快照。然而，Robots協(xié)議也日益成為占市場主導(dǎo)地位的搜索企業(yè)限制競爭的工具。百度的Robots協(xié)議的特別之處，在于其白名單機(jī)制——允許除360之外的所有搜索引擎訪問百度網(wǎng)站，這種白名單在全球是絕無僅有的。如果百度的Robots協(xié)議生效，那么用戶使用360搜索將無法訪問百度貼吧、百度知道、百度百科、百度文庫等內(nèi)容網(wǎng)站。這意味著百度可以利用自己的市場地位削弱360搜索的競爭力。這個案例和微軟與谷歌之間的糾紛非常類似。微軟就谷歌不公平地阻礙必應(yīng)等競爭對手訪問谷歌控制的Youtube視頻網(wǎng)站信息，于2011年4月在歐盟正式提起訴訟。該案已被歐盟反壟斷機(jī)構(gòu)立案調(diào)查。在此之前，已經(jīng)有三家公司向歐盟起訴了谷歌利用主導(dǎo)地位打擊其他搜索引擎的不公平競爭行為。Robots協(xié)議之爭是3B大戰(zhàn)的延續(xù)？百度利用Robots協(xié)議屏蔽360搜索，引起業(yè)內(nèi)的高度關(guān)注。工信部和中國互聯(lián)網(wǎng)協(xié)會及時介入，調(diào)停百度和360之間的Robots協(xié)議糾紛。2012年11月1日，中國互聯(lián)網(wǎng)協(xié)會在北京召集多家搜索企業(yè)，共同簽署《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》。該公約的制定充分體現(xiàn)了互聯(lián)網(wǎng)的精神。一方面，公約對非法律條文規(guī)定，但在國際互聯(lián)網(wǎng)界具有共識的Robots協(xié)議給予了充分的尊重和肯定。另一方面，業(yè)界能夠基于誠信、自主自治的互聯(lián)網(wǎng)精神來解決互聯(lián)網(wǎng)的爭議，共同討論和解決出現(xiàn)的問題?！痘ヂ?lián)網(wǎng)搜索引擎服務(wù)自律公約》明確規(guī)定，“互聯(lián)網(wǎng)站所有者設(shè)置Robots協(xié)議應(yīng)遵循公平、開放和促進(jìn)信息自由流動的原則，限制搜索引擎抓取應(yīng)有行業(yè)公認(rèn)合理的正當(dāng)理由，不利用Robots協(xié)議進(jìn)行不正當(dāng)競爭行為，積極營造鼓勵創(chuàng)新、公平公正的良性競爭環(huán)境?！比欢?，在各企業(yè)簽署自律公約之后，百度并沒有根據(jù)自律公約的要求，對設(shè)置白名單Robots協(xié)議屏蔽360搜索給予合理、正當(dāng)?shù)睦碛?，繼續(xù)屏蔽360搜索對百度內(nèi)容網(wǎng)站的訪問。Robots協(xié)議將如何決定互聯(lián)網(wǎng)的走向？“3B大戰(zhàn)”讓Robots協(xié)議從幕后走向臺前，讓這個簡單的文本文件一下子獲得了整個中國互聯(lián)網(wǎng)世界的關(guān)注。百度認(rèn)為360搜索訪問旗下百度知道、百科、貼吧、旅游等站點(diǎn)的內(nèi)容，違反了Robots協(xié)議。360認(rèn)為，百度的Robots協(xié)議單方面屏蔽了360搜索，卻允許谷歌、必應(yīng)、雅虎、搜狗、搜搜等搜索引擎正常訪問，也違背了互聯(lián)網(wǎng)的開放精神，是百度利用自己的市場地位濫用Robots協(xié)議，是對360搜索的不正當(dāng)競爭。到底Robots協(xié)議應(yīng)該是像法律一樣，神圣不可侵犯？還是應(yīng)如其初衷一樣，作為搜索引擎與網(wǎng)站之間溝通和協(xié)商的橋梁？事實(shí)上，因?yàn)镽obots協(xié)議帶有排他性條款，國際組織擔(dān)心其會成為企業(yè)競爭的工具，因此拒絕將其采納為國際標(biāo)準(zhǔn)。所以迄今為止，從來沒有任何組織或?qū)＜野裄obots協(xié)議當(dāng)成規(guī)范。微軟就谷歌阻礙必應(yīng)搜索訪問Youtube網(wǎng)站提起訴訟，以及百度通過Robots協(xié)議單獨(dú)屏蔽360搜索訪問百度網(wǎng)站，進(jìn)一步證明了國際組織的擔(dān)憂，即Robots協(xié)議已經(jīng)越來越成為企業(yè)競爭的工具。最糟糕的情況顯然是，如果Robots協(xié)議成為國際標(biāo)準(zhǔn)，甚至具有法律效力，像谷歌和百度這樣占據(jù)市場優(yōu)勢地位的搜索引擎，可以憑借自己的優(yōu)勢地位，迫使大量知名網(wǎng)站簽署排他性Robots協(xié)議，只允許谷歌或百度的搜索引擎訪問，屏蔽其他一切搜索引擎。這樣的情況一旦發(fā)生，就會出現(xiàn)馬太效應(yīng)，大者恒大，全世界只會僅存一兩家搜索企業(yè)，市場競爭就會大大減弱。同時，互聯(lián)網(wǎng)里自由流動的信息會產(chǎn)生割裂，形成信息孤島。用戶訪問A網(wǎng)站要用一個搜索引擎，訪問B網(wǎng)站則需要換一個搜索引擎。由此，濫用“Robots協(xié)議”，不僅有損互聯(lián)網(wǎng)的平等、分享精神，也違反了不正當(dāng)競爭法，將會阻礙互聯(lián)網(wǎng)的健康、有序發(fā)展。專家、學(xué)者們怎么說？正如互聯(lián)網(wǎng)協(xié)會理事長胡啟恒所說：“互聯(lián)網(wǎng)是生而自治的，在日后隨著互聯(lián)網(wǎng)技術(shù)應(yīng)用的不斷發(fā)展，還會有許多新問題出現(xiàn)?！彪S著中國搜索市場競爭日趨激烈，Robots協(xié)議本來作為一個行業(yè)約定俗成的、引導(dǎo)搜索蜘蛛更好索引內(nèi)容的文本文件，現(xiàn)在已經(jīng)成為企業(yè)之間競爭的工具。Robots協(xié)議進(jìn)入行業(yè)自律公約，已經(jīng)舉世罕見，而再一次成為法律訴訟的主題，這更是全球絕無僅有。專家學(xué)者的意見中搜CEO陳沛：Robots協(xié)議糾紛不是知識產(chǎn)權(quán)問題，而是企業(yè)競爭問題。重慶郵電大學(xué)城市化戰(zhàn)略研究院院長童大煥：百度通過白名單、黑名單的機(jī)制，限制360搜索引擎索引其內(nèi)容，而允許其他搜索引擎索引其內(nèi)容，既不公平，也違背了Robots協(xié)議的初衷，更違背了互聯(lián)網(wǎng)開放、分享的精神。任其濫用，必將造成行業(yè)競爭壁壘，導(dǎo)致搜索引擎信息呈現(xiàn)達(dá)不到盡可能完整的目的，阻礙搜索市場的信息自由，損害網(wǎng)民利益。中國社會科學(xué)院知識產(chǎn)權(quán)中心副研究員唐廣良：Robots協(xié)議沒有任何法律效力，既不屬于法律保護(hù)的技術(shù)措施，也不屬于互聯(lián)網(wǎng)運(yùn)行必須遵循的技術(shù)規(guī)范，只是個別網(wǎng)站約定俗成的，就像游戲規(guī)則一樣。關(guān)于雙方誰對誰錯不做評價。但這其中的行為是否違法