流通領域商品大數(shù)據(jù)采集分析服務

流通領域商品大數(shù)據(jù)采集分析服務一、項目概況以大數(shù)據(jù)技術為基礎，運用“互聯(lián)網(wǎng)+”思維，編制電商信息采集分析相關一系列數(shù)據(jù)格式規(guī)范文檔，為電商質量信息監(jiān)測分析提供指導。提供大數(shù)據(jù)采集分析服務，要求應標單位近一年內(nèi)采集的有效電子商務產(chǎn)品數(shù)據(jù)不少于4000萬條；能提供多種安全問題發(fā)現(xiàn)模型，對電子商務產(chǎn)品質量大數(shù)據(jù)進行分析，并輸出有效的產(chǎn)品鏈接，并能說明清楚鏈接如何生成及原理；對省范圍內(nèi)電子商務經(jīng)營主體進行追溯，能及時有效的鎖定省內(nèi)各區(qū)域的經(jīng)營主體。二、服務內(nèi)容序號內(nèi)容技術要求及完成期限備注1電商信息采集分析相關一系列數(shù)據(jù)格式規(guī)范文檔編制。合同簽訂后2個月內(nèi)完成，并提供相關文檔材料。2提供電商大數(shù)據(jù)采集分析輸出服務。提供大數(shù)據(jù)采集分析服務，要求系統(tǒng)近一年內(nèi)采集的有效電子商務產(chǎn)品質量數(shù)據(jù)不少于4000萬條；能提供多種安全問題發(fā)現(xiàn)模型，對電子商務產(chǎn)品質量大數(shù)據(jù)進行分析，并提供有效的產(chǎn)品鏈接，在合同簽訂3日內(nèi)根據(jù)招標人要求提供產(chǎn)品鏈接，并能說明清楚鏈接如何生成及原理；對省范圍內(nèi)電子商務經(jīng)營主體進行追溯，能及時有效的鎖定省內(nèi)各區(qū)域的經(jīng)營主體。3采集分析所需電商產(chǎn)品目標鏈接，保障任務的實施。動態(tài)采集更新至少4000萬條電商產(chǎn)品數(shù)據(jù)。參與過國家監(jiān)督抽查任務，熟悉監(jiān)督抽查規(guī)范。有獨立開發(fā)的系統(tǒng)，支撐電子商務產(chǎn)品數(shù)據(jù)的抓取、采集和分析。三、服務要求每月至少一次向用戶單位匯報工作進展、需協(xié)調(diào)解決的事項、工作計劃安排等內(nèi)容。（一）電商信息采集分析相關一系列數(shù)據(jù)格式規(guī)范文檔編制。根據(jù)相關要求，研究編制電商信息采集分析所需的一系列數(shù)據(jù)格式規(guī)范標準，形成工作規(guī)范指導書，包括各主流電商平臺產(chǎn)品類目情況、整理后的產(chǎn)品目錄及與電商平臺原生類目的對應關系、各電商平臺可采集的字段及數(shù)據(jù)字段說明書、數(shù)據(jù)采集規(guī)范等文檔，系統(tǒng)應具有電商網(wǎng)絡交易信息與網(wǎng)絡交易產(chǎn)品質量風險監(jiān)測數(shù)據(jù)中臺設計理念，打通數(shù)據(jù)采集、存儲、計算、治理、服務的工作全流程，逐步擴展到全域數(shù)據(jù)的接入、加工和管理。（二）提供電商平臺質量大數(shù)據(jù)采集分析服務。合同期內(nèi)，提供電商平臺質量大數(shù)據(jù)采集分析服務，應標方必須有獨立開發(fā)的大數(shù)據(jù)采集分析系統(tǒng)，用以支撐電子商務產(chǎn)品數(shù)據(jù)的抓取、采集和分析等業(yè)務，并能根據(jù)數(shù)據(jù)采集規(guī)范，采集分析相關電商平臺數(shù)據(jù)和指定的第三方網(wǎng)站相關信息。大數(shù)據(jù)采集分析服務相關要求如下:大數(shù)據(jù)采集分析服務主要從重點電商平臺中采集相關產(chǎn)品信息、店鋪信息、經(jīng)營主體信息等內(nèi)容入手，從采購人指定的第三方網(wǎng)站采集電商產(chǎn)品質量相關曝光及用戶維權信息，用采購人指定的方式，展示電商平臺產(chǎn)品鏈接。1、數(shù)據(jù)采集電商平臺范圍包含但不限于：天貓、淘寶、京東商城、1號店、蘇寧易購、國美電器、當當網(wǎng)、亞馬遜、唯品會、網(wǎng)易嚴選、貝貝網(wǎng)、小米商城、小米有品、拼多多、云集、萬色城，環(huán)球捕手（斑馬會員），粉象生活，喜團APP，斑馬西西，達人店，公主購（APP），老爸評測、全球時刻、美逛、脈寶云、朵拉試衣間、袋鼠兜兜、年糕媽媽、游俠客、淘粉吧、順聯(lián)動力、有贊、淘小鋪、淘寶客、特抱抱APP、惠鯨APP、花蜜街APP、好省APP、火球買手、有播、全球自選、藍鯨淘、微拍堂、貝殼優(yōu)品、甩寶、好衣庫、即刻好物、有蜜團購、高傭聯(lián)盟、微折購、鯨嘆文化、公銷社APP等，平臺名單根據(jù)業(yè)務需要適時調(diào)整。其他指定采集的第三方網(wǎng)站名單由采購人提供。2、電商平臺采集產(chǎn)品類目范圍由采購人提供，并可根據(jù)臨時需求，動態(tài)定制產(chǎn)品類目。應標人根據(jù)采購人要求的產(chǎn)品類目在中標3天內(nèi)需交付采購人規(guī)定各類目抽查數(shù)量的10倍鏈接的采集分析結果，供采購人選擇。具體產(chǎn)品類目如下：商品序號產(chǎn)品類目目標鏈接數(shù)（不少于）1休閑鞋15002旅游鞋15003休閑服裝15004沖鋒衣12005羽絨服12006羊絨衫12007延長線插座12008智能門鎖4009燈具100010角閥50011花灑60012衛(wèi)生間附屬配件60013壁紙50014兒童滑板車50015兒童床護欄（圍欄）50016兒童高椅50017兒童安全座椅20018鉛筆，活動鉛筆50019水彩筆120020熒光筆50021作業(yè)本100022中性筆100023修正液50024電烤箱及烘烤器具30025豆?jié){機30026電飯煲50027電熱水壺80028電風扇100029掛燙機50030空氣凈化器20031車載充電器30032行車記錄儀30033藍牙耳機30034移動電源30035兒童手表30036無線路由器30037童鞋120038嬰幼兒童裝120039消毒液30040炒鍋20041電動平衡車20042智能坐便器30043毛絨玩具100044彈射玩具100045塑膠玩具（包含小黃鴨）100046足浴盆30047按摩椅15048嬰幼兒奶瓶60049溫奶器50050蠶絲被50051床上四件套100052箱包100053跑步機20054頸部按摩儀2003、采集字段須包含全網(wǎng)各電商平臺公開可采集的所有字段（不同平臺可能有所不同），包括商品ID，商品簡介，商品鏈接、店鋪名稱、平臺名稱、價格、是否自營、商家名稱、經(jīng)營者所在地、標稱生產(chǎn)廠家等。4、應標人需承擔過類似大數(shù)據(jù)采集分析服務工作，每日數(shù)據(jù)采集清洗量級需達到15萬次以上，數(shù)據(jù)從爬蟲采集完成后，經(jīng)過清洗整理，需在1小時內(nèi)完成服務并查看，歷史版本數(shù)據(jù)不少于4000萬條，并且系統(tǒng)中可以直接統(tǒng)計分析出結果。要求的數(shù)據(jù)量為去噪后精確性較高的數(shù)據(jù)，能提供對應的數(shù)據(jù)去噪模型或者規(guī)則，并對模型或規(guī)則進行說明。例如采集產(chǎn)品類目為手機的數(shù)據(jù)，需要剔除手機殼、手機數(shù)據(jù)線、手機支架、充電器等無效的手機配套周邊產(chǎn)品數(shù)據(jù)。5、電商產(chǎn)品鏈接服務輸出要求：（1）提供數(shù)據(jù)服務需完全符合招標單位業(yè)務實際需求，支持通過對抽查類目的選擇，關鍵詞的選擇，電商平臺的選擇，時間范圍、價格區(qū)間、產(chǎn)品所在地、產(chǎn)品品牌等選擇來篩選數(shù)據(jù)鏈接，并能通過雙隨機模型選出對于的產(chǎn)品鏈接，且能數(shù)據(jù)格式和載體形式支持導入抽查協(xié)作系統(tǒng)。（2）提供的數(shù)據(jù)篩選服務需提供多種方式選擇，需包含以下可篩選條件：電商平臺、產(chǎn)品類目、產(chǎn)品名稱、產(chǎn)品所在地、價格區(qū)間、時間范圍、產(chǎn)品品牌、銷量等，篩選條件可同時多選。（3）提供的大數(shù)據(jù)統(tǒng)計分析服務要滿足以下要求:支持按產(chǎn)品類目統(tǒng)計已采集到的產(chǎn)品數(shù)量在各平臺占比情況；支持按產(chǎn)品類目統(tǒng)計各產(chǎn)品價格區(qū)間分布情況；品牌TOP排行榜及占比情況；產(chǎn)品類目數(shù)據(jù)所在地情況統(tǒng)計。（4）提供的大數(shù)據(jù)分析服務中顯示排序必須滿足：同一個產(chǎn)品類目，第一必須按照不同產(chǎn)品品牌排序，第二排序順序才是電商平臺、產(chǎn)品銷量、價格、評價信息等因素。（5）提供的大數(shù)據(jù)分析服務需通過具體要求來分類目進行數(shù)據(jù)篩選，篩選方式可以通過不同的維度進行，并且需提供兩套以上的篩選模型供使用者選擇（多模型分析管理模塊，可以針對用戶不同的業(yè)務場景切換不同的分析模型，管理模塊應預留靈活規(guī)范的接口能根據(jù)用戶的需求進行擴展升級），在最后形成網(wǎng)上抽查目標鏈接產(chǎn)品數(shù)據(jù)，產(chǎn)品數(shù)據(jù)需為最新數(shù)據(jù)，并且有不同時間段的歷史數(shù)據(jù)版本展示，可直觀的對比現(xiàn)有數(shù)據(jù)與歷史數(shù)據(jù)的差異，如價格信息的變動。（6）提供的大數(shù)據(jù)分析服務要求目標鏈接篩選需符合產(chǎn)品質量監(jiān)督抽查管理暫行辦法（18號令）第八條之規(guī)定。（7）大數(shù)據(jù)采集分析服務必須能提供經(jīng)營主體信息采集服務，整理輸出關鍵性字段并展示，并能通過與市場監(jiān)管部門的對接實現(xiàn)信息核查，及時有效的鎖定杭州區(qū)域的經(jīng)營主體。（8）大數(shù)據(jù)采集分析服務必須能提供強制性認證類產(chǎn)品信息預判服務，如3C產(chǎn)品該標證而編號不標，以及實際信息