流通領(lǐng)域商品大數(shù)據(jù)采集分析服務(wù)

流通領(lǐng)域商品大數(shù)據(jù)采集分析服務(wù)一、項(xiàng)目概況以大數(shù)據(jù)技術(shù)為基礎(chǔ)，運(yùn)用“互聯(lián)網(wǎng)+”思維，編制電商信息采集分析相關(guān)一系列數(shù)據(jù)格式規(guī)范文檔，為電商質(zhì)量信息監(jiān)測分析提供指導(dǎo)。提供大數(shù)據(jù)采集分析服務(wù)，要求應(yīng)標(biāo)單位近一年內(nèi)采集的有效電子商務(wù)產(chǎn)品數(shù)據(jù)不少于4000萬條；能提供多種安全問題發(fā)現(xiàn)模型，對電子商務(wù)產(chǎn)品質(zhì)量大數(shù)據(jù)進(jìn)行分析，并輸出有效的產(chǎn)品鏈接，并能說明清楚鏈接如何生成及原理；對省范圍內(nèi)電子商務(wù)經(jīng)營主體進(jìn)行追溯，能及時(shí)有效的鎖定省內(nèi)各區(qū)域的經(jīng)營主體。二、服務(wù)內(nèi)容序號內(nèi)容技術(shù)要求及完成期限備注1電商信息采集分析相關(guān)一系列數(shù)據(jù)格式規(guī)范文檔編制。合同簽訂后2個(gè)月內(nèi)完成，并提供相關(guān)文檔材料。2提供電商大數(shù)據(jù)采集分析輸出服務(wù)。提供大數(shù)據(jù)采集分析服務(wù)，要求系統(tǒng)近一年內(nèi)采集的有效電子商務(wù)產(chǎn)品質(zhì)量數(shù)據(jù)不少于4000萬條；能提供多種安全問題發(fā)現(xiàn)模型，對電子商務(wù)產(chǎn)品質(zhì)量大數(shù)據(jù)進(jìn)行分析，并提供有效的產(chǎn)品鏈接，在合同簽訂3日內(nèi)根據(jù)招標(biāo)人要求提供產(chǎn)品鏈接，并能說明清楚鏈接如何生成及原理；對省范圍內(nèi)電子商務(wù)經(jīng)營主體進(jìn)行追溯，能及時(shí)有效的鎖定省內(nèi)各區(qū)域的經(jīng)營主體。3采集分析所需電商產(chǎn)品目標(biāo)鏈接，保障任務(wù)的實(shí)施。動態(tài)采集更新至少4000萬條電商產(chǎn)品數(shù)據(jù)。參與過國家監(jiān)督抽查任務(wù)，熟悉監(jiān)督抽查規(guī)范。有獨(dú)立開發(fā)的系統(tǒng)，支撐電子商務(wù)產(chǎn)品數(shù)據(jù)的抓取、采集和分析。三、服務(wù)要求每月至少一次向用戶單位匯報(bào)工作進(jìn)展、需協(xié)調(diào)解決的事項(xiàng)、工作計(jì)劃安排等內(nèi)容。（一）電商信息采集分析相關(guān)一系列數(shù)據(jù)格式規(guī)范文檔編制。根據(jù)相關(guān)要求，研究編制電商信息采集分析所需的一系列數(shù)據(jù)格式規(guī)范標(biāo)準(zhǔn)，形成工作規(guī)范指導(dǎo)書，包括各主流電商平臺產(chǎn)品類目情況、整理后的產(chǎn)品目錄及與電商平臺原生類目的對應(yīng)關(guān)系、各電商平臺可采集的字段及數(shù)據(jù)字段說明書、數(shù)據(jù)采集規(guī)范等文檔，系統(tǒng)應(yīng)具有電商網(wǎng)絡(luò)交易信息與網(wǎng)絡(luò)交易產(chǎn)品質(zhì)量風(fēng)險(xiǎn)監(jiān)測數(shù)據(jù)中臺設(shè)計(jì)理念，打通數(shù)據(jù)采集、存儲、計(jì)算、治理、服務(wù)的工作全流程，逐步擴(kuò)展到全域數(shù)據(jù)的接入、加工和管理。（二）提供電商平臺質(zhì)量大數(shù)據(jù)采集分析服務(wù)。合同期內(nèi)，提供電商平臺質(zhì)量大數(shù)據(jù)采集分析服務(wù)，應(yīng)標(biāo)方必須有獨(dú)立開發(fā)的大數(shù)據(jù)采集分析系統(tǒng)，用以支撐電子商務(wù)產(chǎn)品數(shù)據(jù)的抓取、采集和分析等業(yè)務(wù)，并能根據(jù)數(shù)據(jù)采集規(guī)范，采集分析相關(guān)電商平臺數(shù)據(jù)和指定的第三方網(wǎng)站相關(guān)信息。大數(shù)據(jù)采集分析服務(wù)相關(guān)要求如下:大數(shù)據(jù)采集分析服務(wù)主要從重點(diǎn)電商平臺中采集相關(guān)產(chǎn)品信息、店鋪信息、經(jīng)營主體信息等內(nèi)容入手，從采購人指定的第三方網(wǎng)站采集電商產(chǎn)品質(zhì)量相關(guān)曝光及用戶維權(quán)信息，用采購人指定的方式，展示電商平臺產(chǎn)品鏈接。1、數(shù)據(jù)采集電商平臺范圍包含但不限于：天貓、淘寶、京東商城、1號店、蘇寧易購、國美電器、當(dāng)當(dāng)網(wǎng)、亞馬遜、唯品會、網(wǎng)易嚴(yán)選、貝貝網(wǎng)、小米商城、小米有品、拼多多、云集、萬色城，環(huán)球捕手（斑馬會員），粉象生活，喜團(tuán)APP，斑馬西西，達(dá)人店，公主購（APP），老爸評測、全球時(shí)刻、美逛、脈寶云、朵拉試衣間、袋鼠兜兜、年糕媽媽、游俠客、淘粉吧、順聯(lián)動力、有贊、淘小鋪、淘寶客、特抱抱APP、惠鯨APP、花蜜街APP、好省APP、火球買手、有播、全球自選、藍(lán)鯨淘、微拍堂、貝殼優(yōu)品、甩寶、好衣庫、即刻好物、有蜜團(tuán)購、高傭聯(lián)盟、微折購、鯨嘆文化、公銷社APP等，平臺名單根據(jù)業(yè)務(wù)需要適時(shí)調(diào)整。其他指定采集的第三方網(wǎng)站名單由采購人提供。2、電商平臺采集產(chǎn)品類目范圍由采購人提供，并可根據(jù)臨時(shí)需求，動態(tài)定制產(chǎn)品類目。應(yīng)標(biāo)人根據(jù)采購人要求的產(chǎn)品類目在中標(biāo)3天內(nèi)需交付采購人規(guī)定各類目抽查數(shù)量的10倍鏈接的采集分析結(jié)果，供采購人選擇。具體產(chǎn)品類目如下：商品序號產(chǎn)品類目目標(biāo)鏈接數(shù)（不少于）1休閑鞋15002旅游鞋15003休閑服裝15004沖鋒衣12005羽絨服12006羊絨衫12007延長線插座12008智能門鎖4009燈具100010角閥50011花灑60012衛(wèi)生間附屬配件60013壁紙50014兒童滑板車50015兒童床護(hù)欄（圍欄）50016兒童高椅50017兒童安全座椅20018鉛筆，活動鉛筆50019水彩筆120020熒光筆50021作業(yè)本100022中性筆100023修正液50024電烤箱及烘烤器具30025豆?jié){機(jī)30026電飯煲50027電熱水壺80028電風(fēng)扇100029掛燙機(jī)50030空氣凈化器20031車載充電器30032行車記錄儀30033藍(lán)牙耳機(jī)30034移動電源30035兒童手表30036無線路由器30037童鞋120038嬰幼兒童裝120039消毒液30040炒鍋20041電動平衡車20042智能坐便器30043毛絨玩具100044彈射玩具100045塑膠玩具（包含小黃鴨）100046足浴盆30047按摩椅15048嬰幼兒奶瓶60049溫奶器50050蠶絲被50051床上四件套100052箱包100053跑步機(jī)20054頸部按摩儀2003、采集字段須包含全網(wǎng)各電商平臺公開可采集的所有字段（不同平臺可能有所不同），包括商品ID，商品簡介，商品鏈接、店鋪名稱、平臺名稱、價(jià)格、是否自營、商家名稱、經(jīng)營者所在地、標(biāo)稱生產(chǎn)廠家等。4、應(yīng)標(biāo)人需承擔(dān)過類似大數(shù)據(jù)采集分析服務(wù)工作，每日數(shù)據(jù)采集清洗量級需達(dá)到15萬次以上，數(shù)據(jù)從爬蟲采集完成后，經(jīng)過清洗整理，需在1小時(shí)內(nèi)完成服務(wù)并查看，歷史版本數(shù)據(jù)不少于4000萬條，并且系統(tǒng)中可以直接統(tǒng)計(jì)分析出結(jié)果。要求的數(shù)據(jù)量為去噪后精確性較高的數(shù)據(jù)，能提供對應(yīng)的數(shù)據(jù)去噪模型或者規(guī)則，并對模型或規(guī)則進(jìn)行說明。例如采集產(chǎn)品類目為手機(jī)的數(shù)據(jù)，需要剔除手機(jī)殼、手機(jī)數(shù)據(jù)線、手機(jī)支架、充電器等無效的手機(jī)配套周邊產(chǎn)品數(shù)據(jù)。5、電商產(chǎn)品鏈接服務(wù)輸出要求：（1）提供數(shù)據(jù)服務(wù)需完全符合招標(biāo)單位業(yè)務(wù)實(shí)際需求，支持通過對抽查類目的選擇，關(guān)鍵詞的選擇，電商平臺的選擇，時(shí)間范圍、價(jià)格區(qū)間、產(chǎn)品所在地、產(chǎn)品品牌等選擇來篩選數(shù)據(jù)鏈接，并能通過雙隨機(jī)模型選出對于的產(chǎn)品鏈接，且能數(shù)據(jù)格式和載體形式支持導(dǎo)入抽查協(xié)作系統(tǒng)。（2）提供的數(shù)據(jù)篩選服務(wù)需提供多種方式選擇，需包含以下可篩選條件：電商平臺、產(chǎn)品類目、產(chǎn)品名稱、產(chǎn)品所在地、價(jià)格區(qū)間、時(shí)間范圍、產(chǎn)品品牌、銷量等，篩選條件可同時(shí)多選。（3）提供的大數(shù)據(jù)統(tǒng)計(jì)分析服務(wù)要滿足以下要求:支持按產(chǎn)品類目統(tǒng)計(jì)已采集到的產(chǎn)品數(shù)量在各平臺占比情況；支持按產(chǎn)品類目統(tǒng)計(jì)各產(chǎn)品價(jià)格區(qū)間分布情況；品牌TOP排行榜及占比情況；產(chǎn)品類目數(shù)據(jù)所在地情況統(tǒng)計(jì)。（4）提供的大數(shù)據(jù)分析服務(wù)中顯示排序必須滿足：同一個(gè)產(chǎn)品類目，第一必須按照不同產(chǎn)品品牌排序，第二排序順序才是電商平臺、產(chǎn)品銷量、價(jià)格、評價(jià)信息等因素。（5）提供的大數(shù)據(jù)分析服務(wù)需通過具體要求來分類目進(jìn)行數(shù)據(jù)篩選，篩選方式可以通過不同的維度進(jìn)行，并且需提供兩套以上的篩選模型供使用者選擇（多模型分析管理模塊，可以針對用戶不同的業(yè)務(wù)場景切換不同的分析模型，管理模塊應(yīng)預(yù)留靈活規(guī)范的接口能根據(jù)用戶的需求進(jìn)行擴(kuò)展升級），在最后形成網(wǎng)上抽查目標(biāo)鏈接產(chǎn)品數(shù)據(jù)，產(chǎn)品數(shù)據(jù)需為最新數(shù)據(jù)，并且有不同時(shí)間段的歷史數(shù)據(jù)版本展示，可直觀的對比現(xiàn)有數(shù)據(jù)與歷史數(shù)據(jù)的差異，如價(jià)格信息的變動。（6）提供的大數(shù)據(jù)分析服務(wù)要求目標(biāo)鏈接篩選需符合產(chǎn)品質(zhì)量監(jiān)督抽查管理暫行辦法（18號令）第八條之規(guī)定。（7）大數(shù)據(jù)采集分析服務(wù)必須能提供經(jīng)營主體信息采集服務(wù)，整理輸出關(guān)鍵性字段并展示，并能通過與市場監(jiān)管部門的對接實(shí)現(xiàn)信息核查，及時(shí)有效的鎖定杭州區(qū)域的經(jīng)營主體。（8）大數(shù)據(jù)采集分析服務(wù)必須能提供強(qiáng)制性認(rèn)證類產(chǎn)品信息預(yù)判服務(wù)，如3C產(chǎn)品該標(biāo)證而編號不標(biāo)，以及實(shí)際信息