通過設置白名單排除特定搜索引擎違法

#本文僅代表作者觀點，不代表IPRdaily立場，未經(jīng)作者許可，禁止轉載#

來源：IPRdaily中文網(wǎng)（iprdaily.cn）

作者：何方

原標題：360訴百度限制搜索引擎案歷時8年，二審勝訴——通過設置白名單排除特定搜索引擎違法

360與百度之間關于搜索引擎的一場訴訟，歷時8年，日前迎來了終審判決。北京市高院認為，二審的爭議焦點在于：百度公司通過設置robots協(xié)議白名單的方式限制360搜索引擎抓取其相關網(wǎng)頁內(nèi)容，是否構成不正當競爭行為。

360與百度之間關于搜索引擎的一場訴訟，歷時8年，日前迎來了終審判決。

7月23日，“中國裁判文書網(wǎng)”公布了北京奇虎科技有限公司訴北京百度網(wǎng)訊科技有限公司、百度在線網(wǎng)絡技術（北京）有限公司不正當競爭糾紛案的二審判決書。北京市高級人民法院認定，百度公司通過設置robots協(xié)議白名單的方式限制360搜索引擎抓取其網(wǎng)頁信息的行為，構成不正當競爭。

法院判決駁回百度公司的上訴，維持一審原判，即：判令百度公司立即停止涉案不正當競爭行為，賠償奇虎公司經(jīng)濟損失20萬元，并在360、新浪、搜狐三家網(wǎng)站首頁顯著位置連續(xù)十日刊登聲明，就其涉案不正當競爭行為為奇虎公司消除影響。

奇虎公司于2013年起訴，稱百度公司限制360搜索引擎抓取其網(wǎng)站信息

據(jù)判決書披露，2013年，奇虎公司向北京市第一中級人民法院起訴，請求：百度網(wǎng)訊公司、百度在線公司立即停止通過robots.txt對奇虎公司的不正當競爭行為，在三家公開發(fā)行的報紙（《法制日報》、《北京晚報》、《中國知識產(chǎn)權報》）及三個門戶網(wǎng)站消除實施不正當競爭行為對奇虎公司造成的不利影響，連帶賠償奇虎公司經(jīng)濟損失1000萬元及為制止侵權的合理支出50萬元，并承擔本案訴訟費用。

北京市一中院查明，奇虎公司成立于2007年8月13日，主要從事互聯(lián)網(wǎng)安全及搜索等服務，經(jīng)營的互聯(lián)網(wǎng)產(chǎn)品有360安全衛(wèi)士、360搜索引擎及360瀏覽器等。該公司的360搜索引擎于2012年8月16日上線。百度網(wǎng)訊公司成立于2001年6月5日，百度在線公司成立于2000年1月18日，兩公司共同經(jīng)營的百度搜索引擎是國內(nèi)知名的搜索引擎網(wǎng)站，同時還提供互聯(lián)網(wǎng)內(nèi)容服務，包括百度文庫、百度知道、百度百科等。

奇虎公司提交的多份公證書顯示，自2012年8月以來，百度網(wǎng)訊公司、百度在線公司一直在其相關網(wǎng)站的robots協(xié)議中排除360搜索引擎抓取其信息。

百度網(wǎng)訊公司、百度在線公司認可上述事實，但認為：robots協(xié)議是國際通行的行業(yè)慣例和商業(yè)道德，允許和/或限制全部和/或特定搜索引擎抓取是robots協(xié)議的應有之義，百度robots協(xié)議的“白名單”制度僅允許特定的幾家搜索引擎抓取，對除此之外的所有其他搜索引擎均不允許抓取，不存在不正當競爭行為。

一審法院認為，通過設置白名單限制特定搜索引擎，與robots協(xié)議的初衷背道而馳

在一審判決書中，北京市一中院闡明了robots協(xié)議與搜索引擎各自的起源及兩者之間的關系。

法院認為，robots協(xié)議的英文全稱為Robots Exclusion Protocol，直譯為機器人排除協(xié)議，又可成為爬蟲協(xié)議、機器人協(xié)議，是指網(wǎng)站所有者通過一個置于網(wǎng)站根目錄下的文本文件，即robots.txt，告知搜索引擎的網(wǎng)絡機器人（或稱網(wǎng)絡爬蟲、網(wǎng)絡蜘蛛）哪些網(wǎng)頁不應被抓取，哪些網(wǎng)頁可以被抓取，其本質(zhì)是受訪網(wǎng)站與搜索引擎之間的一種交互方式。

隨著互聯(lián)網(wǎng)的迅猛發(fā)展，搜索引擎應運而生。通過搜索引擎，網(wǎng)絡用戶能在較短時間內(nèi)從互聯(lián)網(wǎng)的海量信息中檢索到所需信息，而搜索引擎的工作原理就是使用網(wǎng)絡機器人程序自動抓取相關網(wǎng)站內(nèi)容并建立索引。搜索引擎可分為兩大類，即通用搜索引擎和垂直搜索引擎。百度、谷歌及360搜索等均屬于通用搜索引擎。

搜索引擎的出現(xiàn)極大地提高了網(wǎng)絡用戶獲取信息的效率，但同時也產(chǎn)生了新問題：一是網(wǎng)絡機器人過快抓取或重復抓取相同的網(wǎng)頁內(nèi)容導致受訪網(wǎng)站的服務器過載，影響網(wǎng)站正常運行，降低了抓取的效率；二是一些網(wǎng)絡機器人抓取網(wǎng)站管理后臺的內(nèi)部信息、臨時性文件、cgi腳本等對網(wǎng)絡用戶沒有使用價值的信息。這些問題表明，需要建立一種受訪網(wǎng)站與搜索引擎的網(wǎng)絡機器人之間的交互方式，通過這種方式，網(wǎng)站所有者能夠提示網(wǎng)絡機器人哪些網(wǎng)頁內(nèi)容沒有必要抓取，從而引導其抓取對網(wǎng)絡用戶有用的信息。

為解決上述問題，荷蘭網(wǎng)絡工程師MartijnKoster于1994年初首先提出通過在網(wǎng)站的根目錄下設置robots.txt文件的方式來提示搜索引擎的網(wǎng)絡機器人抓取的范圍。1994年6月30日，一些網(wǎng)絡機器人設計者及愛好者在網(wǎng)絡機器人郵件組論壇上就MartijnKoster的提議達成一致意見，并形成了一個書面文檔《機器人排除標準》（《A Standard for Robot Exclusion》）。

2012年11月1日，在中國互聯(lián)網(wǎng)協(xié)會的牽頭組織下，12家互聯(lián)網(wǎng)企業(yè)簽署了《互聯(lián)網(wǎng)搜索引擎服務自律公約》（簡稱“自律公約”）。該公約第七條第一款規(guī)定：遵循國際通行的行業(yè)慣例與商業(yè)規(guī)則，遵守機器人協(xié)議（robots協(xié)議）。第八條規(guī)定：互聯(lián)網(wǎng)站所有者設置機器人協(xié)議應遵循公平、開放和促進信息自由流動的原則，限制搜索引擎抓取應有行業(yè)公認合理的正當理由，不利用機器人協(xié)議進行不正當競爭行為，積極營造鼓勵創(chuàng)新、公平公正的良性競爭環(huán)境。

法院認為，robots協(xié)議的初衷，是為了提示搜索引擎的網(wǎng)絡機器人更有效地抓取對網(wǎng)絡用戶有用的信息，從而更好地促進信息共享。作為一種互聯(lián)網(wǎng)行業(yè)慣例，robots協(xié)議一方面要求搜索引擎的網(wǎng)絡機器人遵守受訪網(wǎng)站的robots協(xié)議，另一方面也要求受訪網(wǎng)站設置的robots協(xié)議本身應當是合理的，不應違背“促進信息共享”的初衷。

百度公司通過設置robots協(xié)議的方式限制360搜索引擎，會造成網(wǎng)絡用戶通過360搜索引擎無法得到完整的搜索結果，人為設置了信息流動的障礙；在百度搜索引擎在市場份額上占據(jù)絕對優(yōu)勢，而360搜索所占的市場份額較小的情況下，會導致網(wǎng)絡用戶因在使用360搜索引擎時無法及時獲取所需信息，轉而使用百度搜索引擎，不僅會降低360搜索的用戶滿意度，損害奇虎公司的合法權益，也會在客觀上增強百度搜索引擎的市場優(yōu)勢地位；限制通用搜索引擎抓取信息，會在一定程度上阻礙互聯(lián)網(wǎng)信息正常流動，因此，應當具有合理、正當?shù)睦碛伞０俣裙鞠拗?60搜索引擎抓取的內(nèi)容，不屬于其內(nèi)部信息或敏感信息，也沒有證據(jù)顯示360搜索引擎的抓取會導致相關網(wǎng)站無法正常運行或損害社會公共利益。因此，百度公司限制360搜索引擎缺乏合理、正當?shù)睦碛伞?/p>

法院認定，百度公司的涉案行為不僅損害了奇虎公司的合法權益，也擾亂了公平競爭的市場秩序，并最終將會損害廣大網(wǎng)絡用戶的利益，其行為已構成不正當競爭，并作出了相關判決。

百度公司上訴稱，robots協(xié)議體現(xiàn)了網(wǎng)站與搜索引擎之間的交易自由

一審判決后，百度公司不服，向北京市高級人民法院提起上訴，稱：一、robots協(xié)議體現(xiàn)了網(wǎng)站與搜索引擎之間的交易自由，網(wǎng)站允許哪些搜索引擎抓取，不允許哪些搜索引擎抓取，在網(wǎng)站與搜索引擎雙邊市場上，是交易自由的體現(xiàn)；二、一審判決對限制360搜索引擎抓取會導致用戶使用百度搜索引擎從而客觀上增強百度搜索引擎市場優(yōu)勢地位的認定，缺乏任何事實依據(jù)；三、一審判決設定的設置Robots協(xié)議限制通用搜索引擎抓取應當具有的合理正當理由，實質(zhì)上將廢止Robots協(xié)議。

百度公司還主張，360搜索引擎上線后，違規(guī)抓取百度百科等網(wǎng)頁內(nèi)容，經(jīng)通知不予糾正，故未將其列入robots協(xié)議白名單。

北京市高院認定，設置robots協(xié)議白名單妨礙了信息自由流動

北京市高院認為，二審的爭議焦點在于：百度公司通過設置robots協(xié)議白名單的方式限制360搜索引擎抓取其相關網(wǎng)頁內(nèi)容，是否構成不正當競爭行為。

法院認為，百度公司未將360搜索引擎納入白名單，導致該引擎無法抓取其相關網(wǎng)頁內(nèi)容，同時，允許國內(nèi)外主流搜索引擎抓取其網(wǎng)頁內(nèi)容，構成對360搜索引擎采取的有針對性的限制抓取行為。

該行為的損害后果，體現(xiàn)在以下幾方面：首先，影響了360搜索引擎的正常運行，使得360搜索引擎的功能無法正常發(fā)揮，從而直接影響360搜索引擎用戶的上網(wǎng)體驗，進而可能導致360搜索引擎的網(wǎng)絡用戶流失；其次，損害了相關消費者的利益。由于被訴行為影響了網(wǎng)絡用戶對其所選擇的360搜索引擎的正常使用，迫使存在相關信息檢索需求的用戶不得不更換其他搜索引擎，從而影響網(wǎng)絡用戶自主選擇的決定權，增加了選擇成本；第三，被訴行為將導致360搜索引擎與百度搜索引擎之間交易機會和競爭優(yōu)勢的“此消彼長”；第四，被訴行為有違公平競爭原則，擾亂了正常的互聯(lián)網(wǎng)競爭秩序。

百度公司設置的robots協(xié)議白名單，實質(zhì)上是通過采取對搜索引擎經(jīng)營主體區(qū)別對待的方式，以限制特定搜索引擎抓取其網(wǎng)頁內(nèi)容，妨礙了信息自由流動。此種方式不是以網(wǎng)絡信息本身是否適合被搜索引擎抓取作為區(qū)分標準，而是將搜索引擎的經(jīng)營主體作為區(qū)分標準。并且，此種區(qū)分并未采取相同的標準，對奇虎公司而言，具有針對性和歧視性，不僅損害了奇虎公司的利益，也損害了相關消費者的利益。

根據(jù)《自律公約》第八條的約定，robots協(xié)議對于通用搜索引擎抓取限制的設置應當具有行業(yè)公認合理的正當理由。百度公司主張，其通過robots協(xié)議的設置限制360搜索引擎，是因360搜索引擎違規(guī)抓取百度百科等網(wǎng)頁內(nèi)容所采取的自力救濟，但抓取限制措施本身的正當性與突破限制措施的抓取屬于同一問題的正、反方面，難以構成直接的因果關系，尤其是在《自律公約》簽訂后，各方當事人應恪守相關約定，避免此類叢林法則下的自力救濟行為，否則將造成競爭秩序的混亂，不僅有損行業(yè)經(jīng)營者的利益，也不利于網(wǎng)絡用戶的利益。如果網(wǎng)站經(jīng)營者認為搜索引擎的抓取行為不當，構成對其合法權益的侵犯，可以通過相應的法律途徑尋求救濟。事實上，根據(jù)相關判決的認定，百度公司已經(jīng)針對奇虎公司的不當抓取、鏈接行為提出了訴訟主張并獲得支持。因此，百度公司提出的上述理由，不構成限制360搜索引擎抓取其網(wǎng)頁內(nèi)容的合理、正當理由。

法院認定，百度公司在缺乏合理、正當理由的情況下，以對網(wǎng)絡搜索引擎經(jīng)營主體區(qū)別對待的方式，限制360搜索引擎抓取其相關網(wǎng)站網(wǎng)頁內(nèi)容，影響該通用搜索引擎的正常運行，損害了奇虎公司的合法權益和相關消費者的利益，妨礙了正常的互聯(lián)網(wǎng)競爭秩序，違反公平競爭原則，且違反了誠實信用原則和公認的商業(yè)道德，構成不正當競爭行為。

最終，法院判決駁回上訴，維持原判。

相關判決書網(wǎng)頁鏈接：

http://wenshu.court.gov.cn/website/wenshu/181107ANFZ0BXSK4/index.html?docId=68905c28a9ab4c95a5beac01000df3e8

（百度在線網(wǎng)絡技術（北京）有限公司等與北京奇虎科技有限公司不正當競爭糾紛二審民事判決書，（2017）京民終487號）

來源：IPRdaily中文網(wǎng)（iprdaily.cn）

作者：何方

編輯：IPRdaily王穎校對：IPRdaily縱橫君

注：原文鏈接：通過設置白名單排除特定搜索引擎違法（點擊標題查看原文）

如有想看文章主題內(nèi)容，歡迎留言評論~

點擊圖片，查看專題詳情！

通過設置白名單排除特定搜索引擎違法

「關于IPRdaily」

IPRdaily是具有全球影響力的知識產(chǎn)權媒體，致力于連接全球知識產(chǎn)權與科技創(chuàng)新人才。匯聚了來自于中國、美國、歐洲、俄羅斯、以色列、澳大利亞、新加坡、日本、韓國等15個國家和地區(qū)的高科技公司及成長型科技企業(yè)的管理者及科技研發(fā)或知識產(chǎn)權負責人，還有來自政府、律師及代理事務所、研發(fā)或服務機構的全球近100萬用戶（國內(nèi)70余萬+海外近30萬），2019年全年全網(wǎng)頁面瀏覽量已經(jīng)突破過億次傳播。

（英文官網(wǎng)：iprdaily.com 中文官網(wǎng)：iprdaily.cn）

本文來自IPRdaily中文網(wǎng)（iprdaily.cn）并經(jīng)IPRdaily.cn中文網(wǎng)編輯。轉載此文章須經(jīng)權利人同意，并附上出處與作者信息。文章不代表IPRdaily.cn立場，如若轉載，請注明出處：“http://globalwellnesspartner.com/”