本文字數(shù)：3277，閱讀時長約10分鐘

文 |王瓊飛

編輯 | 魯偉

步入大數(shù)據(jù)時代，網(wǎng)絡爬蟲由網(wǎng)頁爬取“進化”到數(shù)據(jù)爬取，尤其隨著大數(shù)據(jù)應用加速，數(shù)據(jù)的價值極具增加，并成為市場競爭的重要資源，惡意爬蟲爬取數(shù)據(jù)案件也在頻繁發(fā)生。

據(jù)不完全統(tǒng)計，自2016年至今，涉及網(wǎng)絡爬蟲的司法案件多達十余起，其中民事案件居多，包括2016年“車來了”APP爬取“酷米客”APP公交車行駛實時數(shù)據(jù)案、2017年脈脈非法抓取使用新浪微博用戶信息案、2017年今日頭條未經(jīng)授權移植新浪微博大V賬號內容數(shù)據(jù)案、2019年刷寶APP爬取抖音APP短視頻及用戶評論數(shù)據(jù)案、2021年“極致了”網(wǎng)站爬取微信公眾號文章數(shù)據(jù)案等。

除了民事案件，因爬取個人信息數(shù)據(jù)涉及的刑事案件也呈增多趨勢，其中不乏數(shù)億級別的數(shù)據(jù)被爬取案件。比如，2021年6月，河南省商丘市睢陽區(qū)人民法院公布的刑事判決書顯示，逯某和黎某兩男子通過自己開發(fā)的爬蟲軟件，對淘寶實施了長達8個月的數(shù)據(jù)爬取，非法獲取近12億條用戶消息。

原本技術中立的“網(wǎng)絡爬蟲”卻因應用于數(shù)據(jù)爬取，有變成“害蟲”的威脅。惡意爬蟲在輕易爬取數(shù)據(jù)時，未經(jīng)授權抓取、突破Robots協(xié)議、同行業(yè)間數(shù)據(jù)爬取，往往是典型情形。網(wǎng)絡爬蟲的法律邊界在哪里？數(shù)據(jù)企業(yè)如何保護自身合法權益？如何規(guī)制惡意爬蟲抓取數(shù)據(jù)亂象，引導行業(yè)合規(guī)健康發(fā)展？這是已經(jīng)進入大數(shù)據(jù)時代后，行業(yè)參與者亟待解答的問題。

01

未經(jīng)授權爬取數(shù)據(jù)涉嫌不正當競爭

政策加持讓數(shù)據(jù)迎來高光時刻。2020年4月9日，《中共中央國務院關于構建更加完善的要素市場化配置體制機制的意見》正式發(fā)布，將數(shù)據(jù)作為一種新型生產要素。

然而，涉及數(shù)據(jù)權利的配套制度法規(guī)還未出臺，非法數(shù)據(jù)爬蟲已經(jīng)襲來。2014年，因認為脈脈未經(jīng)用戶允許和微博平臺授權，非法抓取、使用新浪微博用戶信息，非法獲取并使用脈脈注冊用戶手機通訊錄聯(lián)系人與微博用戶的對應關系，新浪微博將脈脈訴至法院。該案也被稱為首例大數(shù)據(jù)不正當競爭糾紛案。

2016年，北京市海淀區(qū)人民法院（下稱“北京海淀法院”）一審認為，網(wǎng)絡平臺可以就他人未經(jīng)許可擅自使用其經(jīng)過用戶同意收集并使用的用戶數(shù)據(jù)信息主張權利。2017年，北京知識產權法院終審認定，脈脈未經(jīng)用戶允許和微博平臺授權，非法抓取、使用新浪微博用戶信息，構成不正當競爭。

未經(jīng)授權和超出授權范圍使用成為上述案件判決的重要考量因素。北京知識產權法院認為，作為第三方開發(fā)者通過Open API獲得用戶信息時必須遵循“用戶授權+平臺授權+用戶授權”，即用戶同意平臺向第三方提供信息，平臺授權第三方獲取信息，用戶再次授權第三方使用信息，而且用戶的同意必須是具體的、清晰的，是用戶在充分知情的前提下自由作出的決定。這也被行業(yè)稱為“三重授權原則”。

“三重授權原則”對后續(xù)案件影響重大，并成為第三方爬取、使用數(shù)據(jù)的大前提。然而，惡意爬蟲往往越過紅線?，F(xiàn)實中，數(shù)據(jù)爬取多發(fā)生在電商領域和內容平臺，以內容平臺為例，2021年9月，杭州互聯(lián)網(wǎng)法院審理斯氏(杭州)新媒體科技有限公司（下稱“斯氏公司”）爬取微信公眾號平臺數(shù)據(jù)案時認為，斯氏公司運營的“極致了”網(wǎng)站違背誠實信用原則，擅自使用其他經(jīng)營者征得用戶同意、依法匯集且具有商業(yè)價值的數(shù)據(jù)，構成不正當競爭。

尤其在數(shù)字內容領域，數(shù)據(jù)是內容產業(yè)的核心競爭資源，內容平臺經(jīng)過匯總分析處理后的數(shù)據(jù)往往具有極高的經(jīng)濟價值。如果要求內容平臺經(jīng)營者將其核心競爭資源向競爭對手無限開放，不僅損害創(chuàng)作者的創(chuàng)作環(huán)境，使得社會整體內容生產萎靡，消費者對優(yōu)質內容的需求也就無從保障，而且有違“互聯(lián)互通”的精神實質，不利于優(yōu)質內容的不斷更迭和互聯(lián)網(wǎng)產業(yè)的持續(xù)發(fā)展。

02

突破Robots協(xié)議違背商業(yè)道德

在涉及網(wǎng)絡爬蟲的案件中，Robots協(xié)議是繞不開的話題。Robots協(xié)議的全稱是“網(wǎng)絡爬蟲排除標準”，網(wǎng)站通過Robots協(xié)議明確警示搜索引擎哪些頁面可以爬取，哪些頁面不能爬取，類似于行業(yè)的“君子協(xié)定”。

按照Robots協(xié)議規(guī)則，搜索引擎會按照每個網(wǎng)站主給予自己的權限來抓取。實踐中可以發(fā)現(xiàn)，通過百度搜索引擎無法搜索到淘寶網(wǎng)的信息，可以搜索到京東商城的商品信息，原因是2008年淘寶禁止百度爬蟲，而京東商城則沒有對百度爬蟲說“不”。這其中的原因，和淘寶、京東的流量入口選擇和商業(yè)利益考量密切有關。

淘寶網(wǎng)禁止百度爬蟲Baiduspider訪問自己網(wǎng)站

但Robots協(xié)議并非強制性規(guī)定，在商業(yè)利益驅動下，網(wǎng)絡爬蟲與反爬取方之間更像是一場攻防戰(zhàn)，一些網(wǎng)絡平臺的惡意爬蟲不惜冒著風險主動出擊，突破Robots協(xié)議，而被爬取方只能在技術上被動防守，并通過求助司法訴訟主動維權。

在這場攻防戰(zhàn)中，也不乏互聯(lián)網(wǎng)領域知名企業(yè)的身影，其中，新浪微博和今日頭條間的矛盾沖突就不止一次出現(xiàn)。

2017年，因認為今日頭條未經(jīng)授權抓取新浪微博賬號內容，新浪微博將今日頭條訴至法院。2021年5月17日，該不正當競爭糾紛案落槌，北京海淀法院一審判定，未獲平臺授權第三方不得抓取用戶內容，今日頭條的母公司字節(jié)跳動通過類似“復制粘貼”的方式對新浪微博內容進行大規(guī)模移植，有針對性地將新浪微博的內容移植至今日頭條，構成不正當競爭，賠償新浪微博2000萬元。

字節(jié)跳動轉而起訴新浪微博通過Robots協(xié)議禁止頭條搜索的爬蟲，構成不正當競爭。該案經(jīng)歷一審敗訴，二審反轉的劇情。2021年10月8日，北京市高級人民法院終審認為，網(wǎng)絡平臺通過Robots協(xié)議對網(wǎng)絡爬蟲進行限制是網(wǎng)絡經(jīng)營者經(jīng)營自主權的一種體現(xiàn)。Robots協(xié)議在某種意義上已經(jīng)成為維系企業(yè)核心競爭力，維系市場有序競爭的一種手段，應當允許網(wǎng)站經(jīng)營者通過Robots協(xié)議對其他網(wǎng)絡機器人的抓取進行限制。

值得一提的是，通過Robots協(xié)議對網(wǎng)絡爬蟲進行限制并不違背互聯(lián)網(wǎng)行業(yè)的商業(yè)道德。在互聯(lián)網(wǎng)行業(yè)中，除了新浪微博通過Robots協(xié)議限制爬蟲抓取，包括字節(jié)跳動在內的互聯(lián)網(wǎng)公司均會通過Robots協(xié)議來明示禁止抓取的內容。

03

司法裁判指導數(shù)據(jù)合規(guī)

非法爬取數(shù)據(jù)案件背后，惡意爬蟲所建立的數(shù)據(jù)服務往往與被爬取方形成直接的競爭關系，甚至形成某種替代關系。

法院在案件裁判中也明確，互聯(lián)網(wǎng)領域中消費者福利的增加，不是通過數(shù)據(jù)爬取對數(shù)據(jù)進行明顯替代性或同質化地利用。非法爬蟲不勞而獲地爬取數(shù)據(jù)，獲得競爭權益等行為，顯然具有“搭便車”的不正當性。比如，在“極致了”網(wǎng)站爬取微信公眾號數(shù)據(jù)案中，法院認定，“極致了”網(wǎng)站違背誠實信用原則，擅自使用其他經(jīng)營者征得用戶同意、依法匯集且具有商業(yè)價值的數(shù)據(jù)，并實質性替代其他經(jīng)營者提供的部分產品或服務，損害公平競爭的市場秩序。

同時，法院在認定數(shù)據(jù)企業(yè)享有數(shù)據(jù)競爭權益時，也把數(shù)據(jù)企業(yè)對收集、整理時付出的人力物力財力等經(jīng)營成本作為重要考慮因素。比如，在抖音起訴刷寶爬取數(shù)據(jù)案件中，法院認為，微播公司（抖音APP的開發(fā)者和運營者）投入相應的人力、財力成本，通過正當合法的經(jīng)營積累用戶和短視頻內容。刷寶APP在未投入相應成本的情況下，直接獲取視頻資源、評論內容，掠奪微播公司的經(jīng)營成果，損害了抖音的合法權益，構成不正當競爭。

研讀案件裁判思路不難發(fā)現(xiàn)，當數(shù)據(jù)企業(yè)面臨未經(jīng)授權的惡意爬取時，司法機關也在不斷探索數(shù)據(jù)權益保護路徑，定紛止爭。在已有的司法判決中，法院對數(shù)據(jù)企業(yè)所享有的正當權益持肯定態(tài)度。數(shù)據(jù)企業(yè)的數(shù)據(jù)權利在遭受他人侵害時有權要求侵權人承擔侵權責任，包括在他人未經(jīng)許可而竊取數(shù)據(jù)時，有權要求侵權人停止侵害、刪除非法竊取的數(shù)據(jù)；在侵權人因故意或過失造成損害時，有權要求侵權人承擔侵權賠償責任。

此外，從市場經(jīng)濟發(fā)展的角度來看，如果數(shù)據(jù)從業(yè)者尤其是數(shù)據(jù)企業(yè)對于自己收集、存儲的數(shù)據(jù)無法合理有效地控制，爬蟲可以任由抓取，來去自如，數(shù)據(jù)企業(yè)顯然就沒有動力投入成本去收集、存儲以及利用海量數(shù)據(jù)，進而挖掘數(shù)據(jù)中蘊涵的巨大價值，更不可能研發(fā)更多的數(shù)據(jù)產品，數(shù)據(jù)產業(yè)的發(fā)展與大數(shù)據(jù)時代也就無從談起。

當前，雖然法律尚未對數(shù)據(jù)權利進行界定，但司法實踐中日漸增多的行業(yè)案例，其中，數(shù)據(jù)“權利”或“權益”并非完全無法界定，“用權”的合法事實和情景，“授權”鏈條相對清晰，且已經(jīng)得到相當程度認可，尤其是司法審判對于數(shù)據(jù)權利部分的探索和認定，將對指導數(shù)據(jù)企業(yè)開展數(shù)據(jù)合規(guī)提供諸多參考和借鑒。

作者為浙江墾丁律師事務所創(chuàng)始合伙人、浙江省法學會競爭法學研究會理事

關鍵詞： 數(shù)據(jù) robots 爬蟲 用戶 網(wǎng)絡爬蟲 惡意 案件 協(xié)議 司法 經(jīng)營者