混合云大數(shù)據(jù)平臺基礎(chǔ)設(shè)施建設(shè)需求

混合云大數(shù)據(jù)平臺基礎(chǔ)設(shè)施建設(shè)需求1、貨物清單明細(xì)序號貨物名稱數(shù)量單位最高單項(xiàng)合計(jì)限價(jià)金額（元）所屬行業(yè)備注1公有云11項(xiàng)2公有云21項(xiàng)3私有云11項(xiàng)4私有云21項(xiàng)5混合云11項(xiàng)6混合云21項(xiàng)2、具體技術(shù)要求序號名稱技術(shù)要求1公有云11.資源規(guī)模需求：提供不小于20臺4核CPU/8G內(nèi)存/100GSSD硬盤/5MBGP公網(wǎng)帶寬規(guī)格的云主機(jī)，每臺云主機(jī)配置獨(dú)立的公網(wǎng)IP地址；2.云主機(jī)資源所在的數(shù)據(jù)中心需達(dá)到國家A級建設(shè)標(biāo)準(zhǔn)規(guī)格；需滿足等保三級要求；3.云主機(jī)操作系統(tǒng):可提供WindowsServer、Linux、國產(chǎn)操作系統(tǒng)，按采購人需求預(yù)裝，支持用戶自定義鏡像安裝；支持集成MySQL、SQLServer、Redis等常規(guī)主流數(shù)據(jù)庫的系統(tǒng)鏡像一鍵自動(dòng)化部署；4.支持多個(gè)虛擬網(wǎng)卡，1臺云主機(jī)可以同時(shí)綁定不低于5個(gè)彈性公網(wǎng)IP，同時(shí)需支持自定義路由功能；5.單臺云主機(jī)掛載的單盤云儲(chǔ)存支持不低于2000GB的存儲(chǔ)擴(kuò)展，單臺云主機(jī)可支持的云存儲(chǔ)掛載不低于5個(gè)盤；6.云存儲(chǔ)服務(wù)的安全要求，需具備不少于3副本冗余；7.支持基于多云硬盤一致性快照技術(shù)的備份服務(wù)，支撐手動(dòng)備份和通過創(chuàng)建備份策略方式自動(dòng)執(zhí)行的周期性備份；8.互聯(lián)網(wǎng)出口滿足華南地區(qū)平均延遲≤15ms（其中深圳地區(qū)延遲≤5ms），華中地區(qū)平均延遲≤30ms，華北地區(qū)訪問延遲≤45ms，華東地區(qū)訪問延≤30ms，西南地區(qū)平均延遲≤40ms，西北地區(qū)平均延遲≤80ms，東北地區(qū)平均延遲≤60ms，港澳臺地區(qū)平均延遲≤20ms；9.互聯(lián)網(wǎng)出口支持彈性擴(kuò)容，出口帶寬量不低于2000Mbps；支持按需動(dòng)態(tài)調(diào)整帶寬量；10.互聯(lián)網(wǎng)出口需有完善的安全防護(hù)，至少包括DDoS防火墻、Web應(yīng)用防火墻；2公有云21.資源規(guī)模需求：提供不少于5個(gè)獨(dú)立公網(wǎng)IP地址，1臺不少于32核CPU/96G內(nèi)存/2000GSSD硬盤/200MBGP公網(wǎng)帶寬的云服務(wù)器，支持此云服務(wù)器作為所有虛擬主機(jī)的帶寬出口；云服務(wù)器資源池完全獨(dú)立；2.計(jì)算資源所在的數(shù)據(jù)中心需達(dá)到國家A級建設(shè)標(biāo)準(zhǔn)規(guī)格；需滿足等保三級要求；3.云主機(jī)操作系統(tǒng):可提供WindowsServer、Linux、國產(chǎn)操作系統(tǒng)，按采購人需求預(yù)裝，支持用戶自定義鏡像安裝；支持集成MySQL、SQLServer、Redis等常規(guī)主流數(shù)據(jù)庫的系統(tǒng)鏡像一鍵自動(dòng)化部署；4.支持多個(gè)虛擬網(wǎng)卡，1臺云主機(jī)可以同時(shí)綁定不低于5個(gè)彈性公網(wǎng)IP；5.所提供的互聯(lián)網(wǎng)出口需與云主機(jī)、云存儲(chǔ)服務(wù)在同一個(gè)數(shù)據(jù)中心內(nèi)；6.互聯(lián)網(wǎng)出口滿足華南地區(qū)平均延遲≤15ms（其中深圳地區(qū)延遲≤5ms），華中地區(qū)平均延遲≤30ms，華北地區(qū)訪問延遲≤45ms，華東地區(qū)訪問延≤30ms，西南地區(qū)平均延遲≤40ms，西北地區(qū)平均延遲≤80ms，東北地區(qū)平均延遲≤60ms，港澳臺地區(qū)平均延遲≤20ms；7.互聯(lián)網(wǎng)出口支持彈性擴(kuò)容，出口帶寬量不低于1000Mbps；支持按需動(dòng)態(tài)調(diào)整帶寬量；8.互聯(lián)網(wǎng)出口需有完善的安全防護(hù)，至少包括DDoS防火墻、Web應(yīng)用防火墻；9、此主機(jī)能提供接口訪問到混合云，允許大數(shù)據(jù)專業(yè)師生通過此ip訪問到自己的虛擬機(jī)；3私有云1（一）私有云平臺資源1.私有云的資源池需提供不低于150套2核2GB/100GSSD硬盤的實(shí)訓(xùn)虛擬化環(huán)境(或者cpu邏輯核心數(shù)≥512核心，主頻≥2.25GHz；內(nèi)存容量≥1536G，類型為DDR5；硬盤容量≥184T，sas固態(tài)硬盤；支持BOSS控制卡+with2M.2960GB(RAID1)，支持萬兆連接，支持遠(yuǎn)程管理)；2、實(shí)訓(xùn)鏡像倉庫（1）官方鏡像：要求提供鏡像資源，包括不少于Hadoop、Hive、Spark、Python2.7、Python3.0等不同的應(yīng)用組件；（2）自定義鏡像：實(shí)訓(xùn)平臺須支持自定義實(shí)訓(xùn)環(huán)境，通過瀏覽器編輯實(shí)訓(xùn)環(huán)境并制作快照，須支持配置實(shí)訓(xùn)環(huán)境系統(tǒng)參數(shù)，包括但不限于內(nèi)存數(shù)、CPU個(gè)數(shù)，多網(wǎng)卡；（3）信創(chuàng)鏡像：提供信創(chuàng)主流鏡像資源，包信麒麟鏡像；（4）實(shí)訓(xùn)環(huán)境系統(tǒng)支持Windows系列和Linux系列虛擬機(jī)；且支持教師可以獨(dú)立用微軟遠(yuǎn)程協(xié)助mstsc單獨(dú)訪問平臺資源Linux類型虛擬機(jī)，如CentOS、Ubuntu等；（5）實(shí)訓(xùn)環(huán)境系統(tǒng)支持linux系列虛擬機(jī)；且支持在windows環(huán)境或linux環(huán)境中使用XShell軟件，利用不同的端口號遠(yuǎn)程訪問虛擬機(jī)；3.實(shí)訓(xùn)平臺環(huán)境管理支持一鍵開啟關(guān)閉教學(xué)與授課計(jì)劃云虛擬機(jī)環(huán)境；支持一鍵開啟和關(guān)閉考試中心/競賽云虛擬機(jī)環(huán)境；支持查看系統(tǒng)硬件當(dāng)前運(yùn)行狀態(tài)和詳情；支持定時(shí)回收云實(shí)訓(xùn)虛擬機(jī)，可申請延長；支持查看系統(tǒng)硬件當(dāng)前運(yùn)行狀態(tài)和詳情；支持云虛擬機(jī)可以綁定多網(wǎng)卡實(shí)驗(yàn)，支持不低于8張網(wǎng)卡；（二）協(xié)助錄制教學(xué)視頻大數(shù)據(jù)專業(yè)教師需錄制大數(shù)據(jù)教學(xué)平臺的教學(xué)視頻，對《Linux部署淘寶網(wǎng)站》與《淘寶數(shù)據(jù)庫實(shí)戰(zhàn)》兩門課程錄制教學(xué)視頻，供應(yīng)商需協(xié)助教師把錄制的教學(xué)視頻剪輯成片，需承擔(dān)的工作任務(wù)如下：（1）授課視頻（微課）剪輯制作：單個(gè)視頻時(shí)長2-30分鐘，課程總視頻不少于300分鐘；（2）錄制視頻人員需要運(yùn)用互聯(lián)網(wǎng)技術(shù)及大數(shù)據(jù)技術(shù)，制作出淘寶教學(xué)示例；制作數(shù)據(jù)庫及其存儲(chǔ)過程；（3）錄制視頻人員需要能用原生javascript語言及html技術(shù)制作出前端界面；（4）錄制視頻人員需要能通過nodejs語言開發(fā)出淘寶后端程序；（5）錄制視頻人員需要能把淘寶代碼部署到公網(wǎng)；（6）屏幕分辨率：錄制時(shí)屏幕分辨率不小于1920*1080；（7）錄制時(shí)需要放大瀏覽器字體，以便學(xué)生能清晰看到瀏覽器中的文字；(8)封面：錄制的視頻需要視頻封面；（9)封面要求：適配西瓜視頻、嗶哩嗶哩視頻、小紅書視頻封面要求；（10)字幕：字幕需要準(zhǔn)確性、一致性、清晰性、音頻的完整陳述、可讀性、同等性、同步性、內(nèi)容一致性；（11)斷句與格式：根據(jù)語義而非簡單按照字?jǐn)?shù)斷句，每行字幕不宜過長，建議不超過15個(gè)漢字，以保持良好的閱讀節(jié)奏；（12)片尾：片尾5秒左右（項(xiàng)目特殊要求除外）；（13)課程宣傳片定制：為每門課程定制響應(yīng)的宣傳片，一分鐘內(nèi)在課程簡介的基礎(chǔ)上提煉和升華的課程宣傳用語，旨在推廣本課程；要求語言生動(dòng)、形象、有吸引力；（14)錄制工具的選擇，以下三款可選其一；屏幕錄制軟件“AQ”錄制時(shí)選擇高清，屏幕錄制軟件Bandicam，屏幕錄制軟件EV；也可選擇其他便捷錄屏工具；（15)剪輯工具：剪映電腦端；（16)聲音處理軟件：要求使用adobeaudition2020；（17)聲音處理：要求降低雜音，降低噪音；（18)課程制作人員應(yīng)與每個(gè)課程的教學(xué)團(tuán)隊(duì)進(jìn)行深度溝通，為每門課程的建設(shè)提供個(gè)性化的設(shè)計(jì)和咨詢服務(wù)；（19)維護(hù)更新：課程上線運(yùn)行后三年內(nèi)，中標(biāo)供應(yīng)商需保證提供必要的修改服務(wù)；當(dāng)修改內(nèi)容為字幕修改、課程封面圖片、個(gè)別畫面調(diào)整、個(gè)別視頻片段的編輯修改、少量教學(xué)資源美化、課程章節(jié)調(diào)整等時(shí)，制作方提供免費(fèi)修改；當(dāng)采購方需對課程做大面積修改，如重新或增加課程拍攝、重新或增加視頻編輯等，制作方提供有償服務(wù)；4私有云2（一）私有云平臺資源1.私有云的資源池需提供不低于400套2核2GB/100GSSD硬盤的實(shí)訓(xùn)虛擬化環(huán)境；（二）大數(shù)據(jù)項(xiàng)目實(shí)踐私有云平臺1、平臺管理端功能(1)統(tǒng)一賬戶管理：提供統(tǒng)一的賬戶管理功能，支持用戶分類添加、修改、刪除；(2)信息管理功能：學(xué)校教學(xué)管理人員可以對系統(tǒng)中的所有用戶進(jìn)行管理，包括新增、刪除、導(dǎo)入用戶信息；支持管理學(xué)期、院系、專業(yè)、年級、班級、學(xué)生等信息，管理員可以對學(xué)生和教師賬號進(jìn)行信息修改、密碼重置等操作；(3)班級測評BI：如提交人數(shù)、考試提交人數(shù)、及格人數(shù)、及格率、平均分等信息；(4)專業(yè)學(xué)習(xí)路徑：系統(tǒng)提供專業(yè)的專業(yè)工程師崗位學(xué)習(xí)路徑，院校管理員可以根據(jù)目前的專業(yè)體系給予專業(yè)學(xué)習(xí)路徑展現(xiàn)；(5)支持松散的組織結(jié)構(gòu)教學(xué)，管理員可以創(chuàng)建、管理教學(xué)組，每個(gè)教學(xué)組可以由任意院系，專業(yè)，班級，年級的學(xué)生進(jìn)行學(xué)習(xí)，每個(gè)教學(xué)組可以由多個(gè)教師共同完成一門授課；(6)支持角色權(quán)限管理，角色權(quán)限根據(jù)實(shí)際需要自定義，每個(gè)賬號可以關(guān)聯(lián)角色，獲得角色定義的權(quán)限；2、大數(shù)據(jù)實(shí)踐項(xiàng)目Python程序設(shè)計(jì)需配套指導(dǎo)視頻、PPT；內(nèi)容需包含：模塊一：語言基礎(chǔ)模塊二：運(yùn)算符和優(yōu)先級模塊三：列表和元組模塊四：字典模塊五：程序的控制結(jié)構(gòu)模塊六：函數(shù)模塊七：類和對象模塊八：熟練操作字符串模塊九：異常模塊十：日期和時(shí)間模塊十一：正則表達(dá)式模塊十二：裝飾器、生成器、迭代器模塊十三：文件系統(tǒng)模塊十四：線程和進(jìn)程Linux操作系統(tǒng)介紹Linux環(huán)境下的基本操作，包括文件操作、軟件使用、環(huán)境變量設(shè)置等，幫助了解Linux企業(yè)級開發(fā)常用技能；內(nèi)容包括Linux環(huán)境的系統(tǒng)管理、用戶和組的管理、存儲(chǔ)管理、文件權(quán)限管理、軟件包管理、計(jì)劃任務(wù)管理等綜合技能應(yīng)用；知識點(diǎn)涵蓋認(rèn)識Linux、安裝Linux、使用桌面應(yīng)用、使用bash、使用vim編輯器、管理用戶和組、管理文件權(quán)限、管理物理存儲(chǔ)、管理邏輯卷、管理軟件包、管理計(jì)劃任務(wù)等；數(shù)據(jù)庫原理及應(yīng)用（MySQL）講解MySQL數(shù)據(jù)庫的使用，通過案例式教學(xué)方式幫助同學(xué)們掌握MySQL的日常操作和維護(hù)技能；內(nèi)容包括數(shù)據(jù)庫的安裝、數(shù)據(jù)表的使用、SQL語句的使用、函數(shù)和運(yùn)算符應(yīng)用、多表查詢、權(quán)限管理、數(shù)據(jù)庫運(yùn)維等知識；大數(shù)據(jù)技術(shù)原理與應(yīng)用介紹大數(shù)據(jù)常用組件的使用，包括Hadoop、HDFS、NoSQL、Hive、Spark、HBase、Kafka、數(shù)據(jù)可視化等，涵蓋大數(shù)據(jù)生態(tài)的基礎(chǔ)知識；在Hadoop、HDFS、HBase、MapReduce、Hive、Spark和Flink等重要章節(jié)，安排入門級的實(shí)踐操作；內(nèi)容需包括大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、分布式并行編程模型MapReduce、數(shù)據(jù)倉庫Hive、基于內(nèi)存的大數(shù)據(jù)處理架構(gòu)Spark、流計(jì)算框架Flink、大數(shù)據(jù)在各個(gè)領(lǐng)域的應(yīng)用；數(shù)據(jù)倉庫技術(shù)基礎(chǔ)（Hive）主要介紹Hive組件的使用，通過案例式教學(xué)綜合提高同學(xué)們對大數(shù)據(jù)組件的運(yùn)用能力；內(nèi)容包括Hive、MySQL、Hadoop等軟件及組件的安裝、Hive數(shù)據(jù)技術(shù)、Hive數(shù)據(jù)查詢、數(shù)據(jù)壓縮等知識點(diǎn)，幫助同學(xué)們熟悉Hive的使用，能夠通過Hive解決常見數(shù)據(jù)分析任務(wù)；Spark編程基礎(chǔ)主要介紹Spark工具的應(yīng)用和Spark基礎(chǔ)編程，幫助同學(xué)們熟悉Spark編程，提升Spark解決常見數(shù)據(jù)問題的能力；內(nèi)容需包括Spark的原理、Spark架構(gòu)和特性、Spark的安裝和配置、SparkRDD五大特征、SparkRDD的內(nèi)核、spark的實(shí)際應(yīng)用、SparkStreaming及內(nèi)存調(diào)優(yōu)等模塊；NoSQL數(shù)據(jù)庫（Hbase）需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫；模塊化內(nèi)容需包含：1.HBase基礎(chǔ)概念與安裝部署2.HBaseShell命令創(chuàng)建表，HBase存儲(chǔ)方式3.HBase數(shù)據(jù)檢索與數(shù)據(jù)存儲(chǔ)4.HBaseJAVAAPI使用5.MapReduce與HBase6.HBase對表進(jìn)行數(shù)據(jù)遷移7.實(shí)例分析之話單表8.Hbase對表深入剖析9.Hbase集群及表的管理10.Hbase與Hive集成使用（8）消息隊(duì)列kafka需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫；模塊化內(nèi)容需包含：1.kafka介紹與實(shí)踐2.使用Java操作Kafka3.Kafka事務(wù)4.Kafka集成Flume5.Kafka監(jiān)控之KafkaEagle安裝部署及使用（9）分布式一致性原理與Zookeeper需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫；模塊化內(nèi)容需包含：1.ZooKeeper的部署與運(yùn)行2.ZooKeeper的基本操作3.JAVA客戶端API使用4.ZooKeeper的典型應(yīng)用場景5.ZooKeeper在hadoop中的應(yīng)用6.RPC服務(wù)框架：Dubbo7輕量級分布式通用搜索平臺：終搜8.構(gòu)建高可用集群（10）大數(shù)據(jù)平臺應(yīng)用實(shí)戰(zhàn)需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫；模塊化內(nèi)容需包含：1、cmdb數(shù)據(jù)庫介紹與實(shí)踐2、Hadoop集群配置規(guī)劃優(yōu)化3、Hadoop升級管理和風(fēng)險(xiǎn)4、HDFS的數(shù)據(jù)和元數(shù)據(jù)升級5、YARN升級配置6、Spark升級管理7、HiveSQL升級管理8、ZooKeeper升級管理9、服務(wù)資源管理（11）日志分析處理技術(shù)與應(yīng)用需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫；模塊化內(nèi)容需包含：1.處理HDFS中的數(shù)據(jù)2.用ApacheFlume處理流數(shù)據(jù)3.FlumeAgent之間的相互通信4.Sink-to-Source通信5.針對HTTPSource寫處理程序6.使用Deserializers讀取自定義格式7.轉(zhuǎn)換JMS消息為Flume事件8.事務(wù)工作流9.寫入到HDFS：HDFSSink10.使用序列化器控制數(shù)據(jù)格式11.Sink處理器12.發(fā)送數(shù)據(jù)到Flume13.規(guī)劃、部署和監(jiān)控Flume（12）shell實(shí)戰(zhàn)編程需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫；模塊化內(nèi)容需包含：1.Shell腳本的建立與執(zhí)行2.自定義環(huán)境變量3.變量子串的生產(chǎn)場景應(yīng)用案例4.變量的數(shù)值計(jì)算實(shí)踐5.Shell腳本的條件測試6.shell測試表達(dá)式7..if條件語句的使用8.Shell函數(shù)的知識與實(shí)踐9.case條件語句的應(yīng)用實(shí)踐10..while循環(huán)和until循環(huán)的應(yīng)用實(shí)踐11.for和select循環(huán)語句的應(yīng)用實(shí)踐12.循環(huán)控制及狀態(tài)返回值的應(yīng)用實(shí)踐13.Shell數(shù)組的應(yīng)用實(shí)踐（13）ETL應(yīng)用技術(shù)需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫；模塊化內(nèi)容需包含：1、ETL簡介；2、ETL中數(shù)據(jù)結(jié)構(gòu)；3、ETL之?dāng)?shù)據(jù)抽??；4、ETL之?dāng)?shù)據(jù)轉(zhuǎn)換；5、ETL之?dāng)?shù)據(jù)加載；6、ETL工具kettle入門；（14）數(shù)據(jù)挖掘與分析（Python）需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫；模塊化內(nèi)容需包含：1.大數(shù)據(jù)與數(shù)據(jù)挖掘簡介2.數(shù)據(jù)挖掘的類型界定3.常用的數(shù)據(jù)挖掘方法與技術(shù)4.數(shù)據(jù)與數(shù)據(jù)類型5.數(shù)據(jù)清理與集成6.數(shù)據(jù)歸約與變換7.數(shù)據(jù)倉庫與聯(lián)機(jī)分析8.關(guān)聯(lián)規(guī)則方法9.購物籃關(guān)聯(lián)分析實(shí)驗(yàn)10.相關(guān)性分析11.相關(guān)性分析實(shí)驗(yàn)12.有效與有趣：模式評估方法13.分類預(yù)測方法及實(shí)現(xiàn)14.分類預(yù)測實(shí)驗(yàn)15.回歸預(yù)測方法16.回歸預(yù)測方法實(shí)驗(yàn)17.聚類方法及其實(shí)現(xiàn)18.聚類方法實(shí)驗(yàn)19.離群點(diǎn)的檢測方法20.離群點(diǎn)檢測實(shí)驗(yàn)21時(shí)間序列方法22.時(shí)間序列方法實(shí)驗(yàn)23.高級挖掘方法（可視化挖掘、啟發(fā)式算法挖掘）24.非結(jié)構(gòu)化數(shù)據(jù)挖掘（文本、語音、視頻）25.數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能26.數(shù)據(jù)挖掘在銀行信用評分、工業(yè)故障診斷中、生命科學(xué)中的應(yīng)用27.綜合實(shí)踐：某電商平臺數(shù)據(jù)挖掘與智能推薦系統(tǒng)設(shè)計(jì)及與實(shí)現(xiàn)（15）Scala程序設(shè)計(jì)需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫、考試題庫；模塊化內(nèi)容需包含：1.起步Scala2.類和對象（一）3.基本數(shù)據(jù)類型及其操作4.類和對象（二）5.控制語句6.函數(shù)（一）7.函數(shù)（二）8.組合和繼承（一）9.組合和繼承（二）10.類層次關(guān)系和底層類型11.Trait12.使用Package（包）13.訪問控制修飾符14、IO與正則表達(dá)式15、Scala并發(fā)程序設(shè)計(jì)（16）大數(shù)據(jù)可視化編程技術(shù)需配套視頻、實(shí)驗(yàn)文檔；涵蓋內(nèi)容有：HTML5技術(shù)響應(yīng)式頁面構(gòu)建、canvas的畫布系統(tǒng)構(gòu)建、ajax異步交互技術(shù)、echarts動(dòng)態(tài)數(shù)據(jù)表格技術(shù)、數(shù)據(jù)可視化渲染和展示技術(shù)等內(nèi)容；具體章節(jié)如下：任務(wù)一：響應(yīng)式技術(shù)入門任務(wù)二：Canvas入門任務(wù)三：Echarts柱狀圖設(shè)計(jì)任務(wù)四：Echart折線圖設(shè)計(jì)任務(wù)五：Echart餅圖設(shè)計(jì)任務(wù)六：AJAX技術(shù)使用任務(wù)七：大數(shù)據(jù)展示系統(tǒng)設(shè)計(jì)任務(wù)八：數(shù)據(jù)可視化框架——D3.JS任務(wù)九：基于D3.JS的疫情信息圖設(shè)計(jì)Python爬蟲開發(fā)與實(shí)戰(zhàn)需配套實(shí)驗(yàn)指導(dǎo)手冊、視頻、測評題庫；模塊化內(nèi)容需包含：1.概論與安裝pycharm2.使用URLLIB模擬訪問知乎3.Request庫模擬瀏覽器操作4.熟悉HTML基礎(chǔ)語法5.HTML解析6.爬取當(dāng)當(dāng)網(wǎng)Top500五星書籍7.MongoDB基礎(chǔ)與應(yīng)用8.了解HTTP協(xié)議9.動(dòng)態(tài)爬蟲10.爬取B站相關(guān)資料11.Scrapy框架的基礎(chǔ)使用12.使用Python爬取表情包（18）數(shù)據(jù)分析基礎(chǔ)1.網(wǎng)站用戶購物行為分析案例需配套實(shí)驗(yàn)指導(dǎo)手冊、數(shù)據(jù)集；案例需涉及數(shù)據(jù)預(yù)處理、存儲(chǔ)、查詢和可視化分析等數(shù)據(jù)處理全流程所涉及的各種典型操作，涵蓋Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系統(tǒng)和軟件的安裝和使用方法；2.淘寶雙11數(shù)據(jù)分析與預(yù)測案例需配套實(shí)驗(yàn)指導(dǎo)手冊、數(shù)據(jù)集；案例需涉及數(shù)據(jù)預(yù)處理、存儲(chǔ)、查詢和可視化分析等數(shù)據(jù)處理全流程所涉及的各種典型操作，涵蓋Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系統(tǒng)和軟件的安裝和使用方法；3.微博數(shù)據(jù)統(tǒng)計(jì)分析案例需涉及XML半結(jié)構(gòu)化微博數(shù)據(jù)MapReduce清洗、統(tǒng)計(jì)、分析等數(shù)據(jù)典型操作，涵蓋Linux、Hadoop、Eclipse軟件的安裝和使用方法；4.日志行為分析案例需涉及生成用戶行為仿真數(shù)據(jù)、數(shù)據(jù)導(dǎo)入、大數(shù)據(jù)倉庫設(shè)計(jì)、大數(shù)據(jù)倉庫OLAP分析、數(shù)據(jù)導(dǎo)出和大數(shù)據(jù)可視化數(shù)據(jù)典型操作，涵蓋Flume、LinuxShell、Hive、Sqoop、MySQL、Echars等軟件的安裝和使用方法；5.電影推薦實(shí)驗(yàn)案例案例需包含數(shù)據(jù)獲取、環(huán)境搭建、創(chuàng)建推薦引擎、數(shù)據(jù)分析和數(shù)據(jù)可視化等流程，涵蓋Linux、MySQL、Hadoop、Spark等系統(tǒng)和軟件的安裝與使用方法；6.電商產(chǎn)品推薦案例案例需模擬電商網(wǎng)站真實(shí)業(yè)務(wù)數(shù)據(jù)架構(gòu)，構(gòu)建協(xié)同過濾算法與內(nèi)容推薦相結(jié)合的電商推薦系統(tǒng)；7.實(shí)時(shí)打車分析案例案例需涉及實(shí)驗(yàn)數(shù)據(jù)生成、數(shù)據(jù)預(yù)處理、統(tǒng)計(jì)、查詢等流程所涉及的各種典型操作，涵蓋Flume、Kafka、Hadoop、Storm等系統(tǒng)和軟件的安裝和使用方法；8.挖掘商品訂單關(guān)聯(lián)規(guī)則案例需涉及數(shù)據(jù)預(yù)處理、apriori算法的原理、使用python實(shí)現(xiàn)算法等內(nèi)容；（三）私有云大數(shù)據(jù)實(shí)訓(xùn)功能1.教師端功能（1）獨(dú)立的教學(xué)環(huán)境：不同教師擁有各自獨(dú)立的操作界面；（2）備課功能：教師管理具體的內(nèi)容，教師在同一界面查看實(shí)訓(xùn)名稱、課時(shí)、關(guān)聯(lián)視頻，支持章節(jié)內(nèi)容配置；（3）測評備考功能：老師可以發(fā)布實(shí)訓(xùn)測評計(jì)劃，學(xué)生根據(jù)測評計(jì)劃要求完成考試；支持客觀題的自動(dòng)評分，以及教師在線評分主觀題，并自動(dòng)統(tǒng)計(jì)成績；（4）學(xué)情分析功能：支持教師查看班級整體概況、活躍度、章節(jié)數(shù)據(jù)、考試信息；支持統(tǒng)計(jì)并展示實(shí)訓(xùn)、測評教學(xué)過程中的實(shí)訓(xùn)報(bào)告，學(xué)習(xí)進(jìn)度，平均分，任務(wù)正確率，及格率，資源概況等；支持對章節(jié)顆粒度細(xì)化，多次考試信息統(tǒng)計(jì)；（5）實(shí)訓(xùn)教學(xué)管理功能：支持老師查看教學(xué)計(jì)劃學(xué)生每次實(shí)訓(xùn)和測評的提交結(jié)果信息，學(xué)生測評結(jié)果系統(tǒng)自動(dòng)給出參考得分；（6）支持安全視頻接入，防止常用軟件工具非法盜鏈和下載教師發(fā)布的視頻文件；（7）支持按學(xué)期統(tǒng)計(jì)并可視化展示實(shí)驗(yàn)數(shù)據(jù)、學(xué)期考試匯總數(shù)據(jù)，包含試卷提交率、考試通過率；（8）學(xué)生誤操作，支持會(huì)恢復(fù)到初始化環(huán)境，又可恢復(fù)到教師自定義的環(huán)境恢復(fù)；（9）教師通過督導(dǎo)助手直接可以強(qiáng)制遠(yuǎn)程協(xié)助學(xué)生完成實(shí)驗(yàn)內(nèi)容；（10）平臺支持教師使用相同賬號，可以BS純?yōu)g覽器和CS客戶端兩種模式訪問各種實(shí)訓(xùn)環(huán)境，包括Windows系列和Linux系列虛擬機(jī)；（11）實(shí)訓(xùn)平臺須支持教師通過工具菜單，上傳本地文件到實(shí)訓(xùn)虛擬機(jī)環(huán)境，搜索并下載實(shí)訓(xùn)虛擬機(jī)中的文件到本地；2.學(xué)生端功能(1)自主學(xué)習(xí)功能：支持學(xué)生自主學(xué)習(xí)的相關(guān)知識，支持學(xué)生查看教師安排的教學(xué)計(jì)劃，支持學(xué)生查看相關(guān)章節(jié)和課時(shí)總數(shù)，查看章節(jié)內(nèi)容包括章節(jié)目錄、章節(jié)詳情、章節(jié)視頻、章節(jié)完成進(jìn)度等；(2)學(xué)生可查看崗位學(xué)習(xí)路徑配置的基礎(chǔ)教學(xué)內(nèi)容、核心教學(xué)內(nèi)容；(3)測評功能：系統(tǒng)支持單選題、多選題、填空題、問答題、程序題和實(shí)操題，學(xué)生完成測評題目后可保存答案或一鍵提交結(jié)果；支持客觀題的自動(dòng)評分，教師批閱后可查看測評成績；(4)考試功能：支持學(xué)生進(jìn)入考試，考試題型包括單項(xiàng)選擇、多項(xiàng)選擇、填空、操作題等，學(xué)生在規(guī)定考試時(shí)間內(nèi)完成考試后，可保存答案或一鍵提交考試結(jié)果，教師批閱后可查看考試成績；(5)支持考試、測評批閱后可查看試題及答案解析；3.院長端功能可以查看整個(gè)平臺教師、學(xué)生的活躍情況，可以統(tǒng)計(jì)并查看每日開課、資源情況、師生活躍度、平臺使用和成績數(shù)據(jù)等；4.智能助教功能（1）可以分章節(jié)實(shí)時(shí)跟蹤每個(gè)學(xué)生實(shí)訓(xùn)任務(wù)的完成情況，包含實(shí)驗(yàn)任務(wù)詳情（實(shí)訓(xùn)配任務(wù)時(shí)展示）、測評詳情、視頻詳情；（2）支持查看學(xué)生實(shí)訓(xùn)任務(wù)匯總視圖、任務(wù)分解視圖，可以查看實(shí)訓(xùn)任務(wù)的完成情況，包含已完成、進(jìn)行中、未開始數(shù)據(jù)統(tǒng)計(jì)；（3）教師可以遠(yuǎn)程控制學(xué)生的實(shí)訓(xùn)環(huán)境，指導(dǎo)學(xué)生解決實(shí)訓(xùn)過程中遇到的問題；5.在線編程功能（1）支持構(gòu)建C、C++、Python、HTML、JAVA、MySQL、PHP在線實(shí)訓(xùn)環(huán)境等）；（2）支持VSCODE在線編程環(huán)境集成；（3）支持在線編程應(yīng)用于實(shí)訓(xùn)、考試、測評時(shí)，系統(tǒng)按照評分規(guī)則自動(dòng)評分，給出參考得分；6.考試系統(tǒng)（1）老師可以發(fā)布考試計(jì)劃，學(xué)生根據(jù)考試計(jì)劃要求完成考試；（2）支持創(chuàng)建試題庫，出卷模式支持手動(dòng)組卷、自動(dòng)組卷二種方式，方便教師節(jié)省出卷時(shí)間；支持客觀題的自動(dòng)評分，以及教師在線評分主