Python數(shù)據(jù)分析與可視化項(xiàng)目實(shí)戰(zhàn) 課件 項(xiàng)目6 基于大數(shù)據(jù)的求職信息挖掘與分析

項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展大數(shù)據(jù)是指規(guī)模龐大、多樣化、高速生成的數(shù)據(jù)集，這些數(shù)據(jù)通常超出了傳統(tǒng)數(shù)據(jù)處理工具的能力范圍。大數(shù)據(jù)技術(shù)在各個(gè)領(lǐng)域都具有廣泛的影響：在商業(yè)智能和分析方面，大數(shù)據(jù)幫助企業(yè)分析客戶行為、市場(chǎng)趨勢(shì)和銷售數(shù)據(jù)，支持決策制定和市場(chǎng)營(yíng)銷策略；在醫(yī)療方面，大數(shù)據(jù)分析可以用于疾病預(yù)測(cè)、藥物研發(fā)、患者管理和醫(yī)療成本控制；在交通和城市規(guī)劃方面，大數(shù)據(jù)支持智能交通系統(tǒng)、城市規(guī)劃和交通流量?jī)?yōu)化；在社交媒體和娛樂方面，大數(shù)據(jù)分析用于個(gè)性化推薦、廣告定位和社交趨勢(shì)分析等。大數(shù)據(jù)技術(shù)已經(jīng)成為各行各業(yè)的重要工具，對(duì)于就業(yè)市場(chǎng)也不例外。畢業(yè)生在步入職場(chǎng)之前，由于信息不對(duì)稱、缺乏經(jīng)驗(yàn)，往往對(duì)就業(yè)前景和實(shí)際情況存在一定的疑慮和不確定性。這種不確定性可能會(huì)導(dǎo)致畢業(yè)生對(duì)自己的職業(yè)選擇和薪資期望與實(shí)際就業(yè)情況存在一定差距。而通過大數(shù)據(jù)分析和挖掘，可以幫助求職者更客觀地看待就業(yè)問題，減少就業(yè)預(yù)期與實(shí)際差距，從而更好地融入職場(chǎng)并實(shí)現(xiàn)職業(yè)目標(biāo)。今天，我們就來學(xué)習(xí)如何使用大數(shù)據(jù)來進(jìn)行信息的采集挖掘和分析項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.1大數(shù)據(jù)的特征大數(shù)據(jù)是一個(gè)仁者見仁、智者見智的寬泛概念。關(guān)于“什么是大數(shù)據(jù)”這個(gè)問題，大家比較認(rèn)可關(guān)于大數(shù)據(jù)的“4V”說法。所謂“4V”，指的是大數(shù)據(jù)的四個(gè)特點(diǎn)，包含四個(gè)層面：Volume(數(shù)據(jù)量大)，Variety(數(shù)據(jù)類型繁多)，Velocity(處理速度快)，Value(價(jià)值密度低)。

大數(shù)據(jù)的價(jià)值本質(zhì)上體現(xiàn)為：提供了一種人類認(rèn)識(shí)復(fù)雜系統(tǒng)的新思維和新手段。就理論上而言，在足夠小的時(shí)間和空間尺度上，對(duì)現(xiàn)實(shí)世界數(shù)字化，可以構(gòu)造一個(gè)現(xiàn)實(shí)世界的數(shù)字虛擬映像，這個(gè)映像承載了現(xiàn)實(shí)世界的運(yùn)行規(guī)律，在擁有充足的計(jì)算能力和高效的數(shù)據(jù)分析方法的前提下，對(duì)這個(gè)數(shù)字虛擬映像的深度分析，將有可能理解和發(fā)現(xiàn)現(xiàn)實(shí)復(fù)雜系統(tǒng)的運(yùn)行行為、狀態(tài)和規(guī)律。應(yīng)該說大數(shù)據(jù)為人類提供了全新的思維方式、探知客觀規(guī)律、改造自然和社會(huì)的新手段，這也是大數(shù)據(jù)引發(fā)經(jīng)濟(jì)社會(huì)變革最根本性的原因。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.2大數(shù)據(jù)處理的基本流程大數(shù)據(jù)處理的基本流程主要包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理與分析、數(shù)據(jù)展示/數(shù)據(jù)可視化、數(shù)據(jù)應(yīng)用等環(huán)節(jié)

其中數(shù)據(jù)質(zhì)量貫穿于整個(gè)大數(shù)據(jù)流程，每一個(gè)數(shù)據(jù)處理環(huán)節(jié)都會(huì)對(duì)大數(shù)據(jù)質(zhì)量產(chǎn)生影響和作用。通常，一個(gè)好的大數(shù)據(jù)產(chǎn)品要有大量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)處理、精確的數(shù)據(jù)分析與預(yù)測(cè)、優(yōu)秀的可視化圖表以及簡(jiǎn)練易懂的結(jié)果解釋。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2.1、數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘(DataMining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中人們事先不知道的，但又是潛在有用的信息和知識(shí)的過程。隨著信息技術(shù)的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長(zhǎng)，動(dòng)額以TB計(jì)，如何從海量的數(shù)據(jù)中提取有用的知識(shí)成為當(dāng)務(wù)之急，數(shù)據(jù)挖掘就是為順應(yīng)這種需要應(yīng)運(yùn)而生發(fā)展起來的數(shù)據(jù)處理技術(shù)，是知識(shí)發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase)的關(guān)鍵步驟。數(shù)據(jù)挖掘是目前人工智能和數(shù)據(jù)庫(kù)領(lǐng)域研究的熱點(diǎn)問題，主要基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)、可視化技術(shù)等，高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的整理，從中挖掘出潛在的模式，從而幫助決策者調(diào)整市場(chǎng)策略，減少風(fēng)險(xiǎn)。數(shù)據(jù)挖掘是通過分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示三個(gè)步驟。數(shù)據(jù)準(zhǔn)備是從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用數(shù)據(jù)挖掘的數(shù)據(jù)集；規(guī)律尋找是用某種方法將數(shù)據(jù)集所含的規(guī)律找出來；規(guī)律表示是盡可能以用戶可理解的方式(如可視化)將找出的規(guī)律表示出來。數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景3、Python數(shù)據(jù)挖掘Python語(yǔ)言具有易學(xué)易用、強(qiáng)大的第三方庫(kù)支持等特點(diǎn)，被廣泛應(yīng)用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)領(lǐng)域。數(shù)據(jù)挖掘是指從大量數(shù)據(jù)中提取有效信息的過程，包括數(shù)據(jù)預(yù)處理、特征選擇、模型選擇和評(píng)估等環(huán)節(jié)。Python中的數(shù)據(jù)挖掘庫(kù)主要有以下幾個(gè)：1.NumPy：用于科學(xué)計(jì)算和數(shù)學(xué)操作，提供多維數(shù)組對(duì)象和一些便捷的函數(shù)操作。2.Pandas：用于數(shù)據(jù)分析和處理，提供豐富的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作方法。3.Matplotlib：用于數(shù)據(jù)可視化，提供各種繪圖函數(shù)和樣式設(shè)置。4.Scikit-learn：用于機(jī)器學(xué)習(xí)，提供各種監(jiān)督/非監(jiān)督/半監(jiān)督的學(xué)習(xí)算法，包括分類、回歸、聚類等。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景機(jī)器學(xué)習(xí)是基于數(shù)據(jù)構(gòu)建模型并進(jìn)行預(yù)測(cè)或分類的過程。Python中的機(jī)器學(xué)習(xí)庫(kù)相較于數(shù)據(jù)挖掘庫(kù)更加強(qiáng)調(diào)算法的實(shí)現(xiàn)和模型的優(yōu)化，主要有以下幾個(gè)：1.TensorFlow：由Google開發(fā)的機(jī)器學(xué)習(xí)框架，提供各種深度學(xué)習(xí)算法的實(shí)現(xiàn)和優(yōu)化，包括神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等。2.Keras：基于TensorFlow或Theano開發(fā)的高層次神經(jīng)網(wǎng)絡(luò)庫(kù)，封裝了各種神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)和訓(xùn)練操作。3.PyTorch：由Facebook開發(fā)的機(jī)器學(xué)習(xí)框架，提供各種深度學(xué)習(xí)算法的實(shí)現(xiàn)和優(yōu)化，具有動(dòng)態(tài)計(jì)算圖和易變性等特點(diǎn)。4.Scikit-learn：雖然是數(shù)據(jù)挖掘庫(kù)，但也提供了許多常見的機(jī)器學(xué)習(xí)算法，如決策樹、支持向量機(jī)、樸素貝葉斯等。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景綜上所述，Python的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)非常完善，提供了豐富的工具和庫(kù)支持，為數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師提供了便利。Python可以用于不同類型的數(shù)據(jù)挖掘任務(wù)，例如：數(shù)據(jù)預(yù)處理：Python可以用于數(shù)據(jù)處理、轉(zhuǎn)換和清洗，例如數(shù)據(jù)過濾、去重、缺失值填充等。探索性數(shù)據(jù)分析：Python可以用于生成可視化圖形和摘要統(tǒng)計(jì)信息，以幫助分析數(shù)據(jù)集的特征并發(fā)現(xiàn)潛在的關(guān)系和趨勢(shì)。監(jiān)督式學(xué)習(xí)：Python可以用于建立和優(yōu)化監(jiān)督式模型來進(jìn)行分類、回歸和預(yù)測(cè)任務(wù)。無監(jiān)督式學(xué)習(xí)：Python可以用于進(jìn)行聚類和降維操作，以便于發(fā)現(xiàn)和理解數(shù)據(jù)集中隱藏的信息和模式。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4、求職信息分析任務(wù)就業(yè)問題一直是國(guó)家和人民最關(guān)注的問題之一，良好的就業(yè)前景可以促進(jìn)國(guó)家GDP發(fā)展，推動(dòng)國(guó)民經(jīng)濟(jì)，伴隨著我國(guó)高校精英教育向大眾化教育的轉(zhuǎn)變，以及高校畢業(yè)生就業(yè)制度由國(guó)家統(tǒng)包分配向畢業(yè)生自主擇業(yè)轉(zhuǎn)變，大學(xué)生就業(yè)難已經(jīng)成為不爭(zhēng)的事實(shí)。自2003年我國(guó)第一批擴(kuò)招大學(xué)生走向社會(huì)以來，我國(guó)社會(huì)的人才需求量逐步由賣方市場(chǎng)轉(zhuǎn)為買方市場(chǎng)，龐大的畢業(yè)生隊(duì)伍走向就業(yè)市場(chǎng)，而高校畢業(yè)生對(duì)就業(yè)的期望值卻居高不下進(jìn)而影響了畢業(yè)生的就業(yè)工作，為避免社會(huì)現(xiàn)實(shí)與畢業(yè)生的想法之間存在較大差距，可以通過對(duì)招聘網(wǎng)站信息進(jìn)行分析和挖掘，從而客觀地對(duì)待就業(yè)問題。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.1研究?jī)?nèi)容及方法本項(xiàng)目以分析電子商務(wù)類人才為例，通過對(duì)招聘網(wǎng)站電子商務(wù)人才職位信息進(jìn)行數(shù)據(jù)入庫(kù)、數(shù)據(jù)清理、數(shù)據(jù)預(yù)處理、相關(guān)數(shù)據(jù)分析、結(jié)巴分詞、數(shù)據(jù)可視化、崗位薪資預(yù)測(cè)及LDA主題文本相似度模型建立等操作，完成整體項(xiàng)目的開發(fā)工作。具體包含：（1）通過調(diào)用python中的pandas庫(kù)對(duì)數(shù)據(jù)進(jìn)行入庫(kù)處理，調(diào)用其中的各種函數(shù)對(duì)數(shù)據(jù)進(jìn)行去重、去空等操作，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作，方便后期建立模型。（2）通過調(diào)用pyecharts對(duì)各個(gè)特征和薪資的關(guān)系進(jìn)行數(shù)據(jù)可視化分析、對(duì)招聘職位信息進(jìn)行探索分析、使用jieba對(duì)崗位描述進(jìn)行中文分詞并查找其中的差別。（3）對(duì)和薪資有關(guān)的數(shù)據(jù)進(jìn)行特征降維、數(shù)據(jù)標(biāo)準(zhǔn)化等操作，將70%的數(shù)據(jù)集劃分為訓(xùn)練集，剩下的30%劃分為測(cè)試集，調(diào)用隨機(jī)森林、xgboost、lightGBM等算法對(duì)其進(jìn)行訓(xùn)練，然后觀察其RMSE分?jǐn)?shù)、R2評(píng)分，確定最優(yōu)模型并抽取其中一些數(shù)據(jù)作為測(cè)試集對(duì)崗位薪資進(jìn)行預(yù)測(cè)。（4）在TF-IDF的基礎(chǔ)上建立職位LDA模型對(duì)求職者的能力進(jìn)行相似度的計(jì)算，并輸出LDA主題模型的可視化分析結(jié)果。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.2算法及模型4.2.1lightGBM回歸算法LightGBM（LightGradientBoostingMachine）是一個(gè)梯度boosting框架，是基于決策樹算法的分布式梯度提升框架。LightGBM相較于xgboost，它擁有更快的訓(xùn)練效率，更高的準(zhǔn)確率，支持并行化學(xué)習(xí)，占用更少的內(nèi)存，還能夠處理大規(guī)模數(shù)據(jù)。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.2.2LDA主題模型LDA模型是一種可以將文檔數(shù)據(jù)集中的每篇文章的主題以概率分布形式給出的主題模型，再通過這個(gè)主題分布進(jìn)行主題聚類或者文本分類，這樣就相當(dāng)于抽出了每篇文章的主旨。這也是一種典型的“詞包”模式，即一篇文章是由一系列單詞組成的，它們之間沒有一定的順序，因此，在抽取文本的隱性主題時(shí)，往往會(huì)忽視其語(yǔ)法結(jié)構(gòu)和詞匯的先后次序。LDA有三層生成式貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，包含了單詞，文檔和文檔整體三者之間的概率分布關(guān)系，其結(jié)構(gòu)依次是文檔層、主題層和特征詞層，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6-2所示。

圖6-2

LDA模型隱含主題的拓?fù)浣Y(jié)構(gòu)示意圖項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.3數(shù)據(jù)加工與訓(xùn)練模型數(shù)據(jù)加工是指融合多源海量的數(shù)據(jù)，并將其轉(zhuǎn)化為可被操作的智能數(shù)據(jù)的過程。具體地說，是處理來自單個(gè)和多個(gè)數(shù)據(jù)源的數(shù)據(jù)或數(shù)據(jù)組合，以及數(shù)據(jù)間關(guān)系，實(shí)現(xiàn)精確定位和特性預(yù)估，并完成對(duì)危險(xiǎn)態(tài)勢(shì)和重要性的及時(shí)評(píng)估的過程。數(shù)據(jù)加工集成了多個(gè)數(shù)據(jù)源以產(chǎn)生比任何單個(gè)數(shù)據(jù)源提供的信息更一致、更準(zhǔn)確和更有用的信息，其特點(diǎn)是根據(jù)任務(wù)需求增加搜集的數(shù)據(jù)源，并且通過不斷地預(yù)估和評(píng)價(jià)算法，修正數(shù)據(jù)加工過程，以達(dá)到更好的結(jié)果。

項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.4數(shù)據(jù)分析與預(yù)測(cè)項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目實(shí)現(xiàn)根據(jù)對(duì)招聘網(wǎng)站信息的分析，可以得到如下啟示：1、求職者在瀏覽招聘信息時(shí)第一關(guān)注的崗位的薪資狀況，當(dāng)看到心儀的薪資后再去查看該崗位招聘人員的具體需求，當(dāng)遇到無法給定薪資的崗位時(shí)，求職者無法清晰地判斷出該崗位的真實(shí)薪資區(qū)間。通過對(duì)招聘信息中的崗位能力需求進(jìn)行文本相似度分析，推