網絡空間安全概論 實驗7網絡爬蟲 貝殼租房爬蟲及可視化

中國礦業(yè)大學計算機學院2018級本科生課程報告課程名稱信息內容安全報告題目貝殼租房爬蟲及可視化報告時間2021.7.6姓名徐子涵學號08182737任課教師曹天杰2020-2021(二)《信息內容安全》課程報告評分表序號畢業(yè)要求課程教學目標考查方式與考查點占比得分12.3目標1:掌握信息內容安全的基本概念、分類、原理和相關技術，能夠根據課程基本知識對信息內容安全領域出現的問題進行歸類、分析、并有初步分析和解決問題的能力。通過課堂講授和課堂研討掌握信息內容安全概念和理論知識。40%3.2目標2：掌握信息內容安全處理相關的理論、技術以及健全的評價體系，能夠根據具體問題分析算法、設計算法、實現算法并能綜合評價算法。24.3目標3：掌握信息內容安全的基礎知識，針對具體問題和要求選擇正確的技術路線，通過在實驗環(huán)境中進行仿真實驗并能根據算法特點進行攻擊測試和綜合性能評價，得到具有參考價值的結論。課程報告；實現有關信息內容安全的一個軟件系統(tǒng)。分析和對比各項技術，選擇相應的技術進行算法設計并在實驗環(huán)境中進行仿真實驗和性能評價，得到有效結論。60%總分100%評閱人：2021年7月10日報告摘要近年來，隨著城鎮(zhèn)化進程的加快，房價節(jié)節(jié)攀升，購房壓力相應增大，租房成為滿足居民居住需要的主要途徑?；ヂ?lián)網的發(fā)展給房屋租賃市場提供了新的交易途徑，同時也帶來了新的挑戰(zhàn)。如何在較短的時間內，有效地獲取租房用戶所需的精準信息變得越來越重要。本文設計貝殼租房信息的爬取工具，實現對網站下租房關鍵信息的爬取，過濾并存儲租房房源信息，建立租房房源信息數據源，用Pyecharts實現數據的可視化。關鍵詞：租房數據;網絡爬蟲;Pyecharts;

報告正文1前言隨著城鎮(zhèn)化進程的高速發(fā)展，國內房價高漲。為了解決住房問題，越來越多的人選擇租房方式滿足他們住房需求，租房人群年齡結構呈年輕化趨勢，以80后、90后為代表的租房人群，傳統(tǒng)的租房體驗已經無法滿足他們需求。隨著互聯(lián)網的發(fā)展，他們向網絡平臺遷移的意愿更強，給房屋租賃市場提供了新的交易途徑?；诰W絡平臺思維可以打破房源信息不對稱，用戶線上選房、線下看房，線上交易，再到租后和退租再租，整個完整流程可以很好地服務消費者，從而大幅度改善用戶體驗。國內的房屋租賃發(fā)布平臺，為租房用戶提供了便捷。各房屋租賃信息網站通過關鍵字搜索配合條件篩選的方式為租房用戶提供房源搜索功能。面對當前房源信息資源的迅猛增長，傳統(tǒng)依賴于人工檢索信息的方式效率十分低下，已經不能滿足年輕消費者的精準匹配的需求。因此，本文以安居客租房網為例，設計一個基于Python的租房數據爬取工具，用戶提供位置、租金或房型等精準需求，從租房信息網站垂直搜索相關的數據并按規(guī)則的結構化存儲，并對其進行可視化分析。2python爬蟲設計2.1爬取對象的確定貝殼網是國內主要房產租售服務平臺之一，本文實現的爬蟲將以“貝殼租房”為爬取目標，對指定目標房屋租房信息網站進行自動爬取，過濾并抽取所需租房信息，最終將爬取到的數據以xlsx文件存儲在本地項目根目錄下，并將可視化分析以網頁形式展示。2.2功能設計（1）導入相關包：（2）請求頭設置（3）設置要獲取的目標信息（4）數據爬蟲反爬蟲設計：間隔時間2-5秒：設置多個請求頭：設計爬蟲2.3數據處理（1）計算各區(qū)域房源數量：（2）計算各區(qū)域房源平均價（3）計算戶型數量（4）統(tǒng)計不同面積區(qū)間占比2.4數據存儲為了方便用戶簡潔、直觀的查看爬取數據，本文爬取的數據以存儲為excel格式。C方便用戶使用Excel等通用軟件直觀的查看和分析數據。本文在貝殼租房平臺上，爬取徐州地區(qū)相關區(qū)域的租房房源信息，爬取結果中的部分數據如下圖所示：3可視化分析3.1Pyecharts模塊可視化或稱視覺化，其基本含義是將科學計算中產生的大量非直觀的、抽象的或者不可見的數據，借助計算機圖形學和圖像處理等技術，用幾何圖形和色彩、紋理、透明度、對比度及動畫技術等手段，以圖形圖像信息的形式，直觀、形象地表達出來，并進行交互處理。1987年2月美國國家科學基金會的一個研究報告提出科學計算可視化(visualizationinscientificcomputing)問題。并將可視化定義為利用計算機圖形學和圖像處理技術，將數據轉換為直觀的圖像和表格進行展示以及交互處理的理論、方法和技術。換言之，可視化技術是一種計算方法，它將符號描述轉變成幾何描述，從而使研究者能夠觀察到所期望的仿真和計算結果;可視化技術提供了將不可見轉化為可見的方法和途徑，使得科學發(fā)現的過程變得生動，促進研究者對未知事物的領悟?？梢暬治黾夹g是建立在可視化與分析過程的基礎上的，以深入刻畫數據特征和人類感知模式的能力為基礎，可加強數據挖掘分析的能力和效果。可視化分析的方法主要有圖數據可視化、文本可視化、高維數據可視化、地理時空信息以及可視化分析過程。Echarts是一個由百度開源的數據可視化，憑借著良好的交互性，精巧的圖表設計，得到了眾多開發(fā)者的認可。而Python是一門富有表達力的語言，很適合用于數據處理。當數據分析遇上數據可視化時，pyecharts誕生了。3.2可視化實現（1）統(tǒng)計各