人工智能技術(shù)導(dǎo)論 課件05 自然語言處理與AIGC、06 人工智能應(yīng)用開發(fā)環(huán)境及工具

第五章

自然語言處理與AIGC本章目標(biāo)了解自然語言處理的基本概念和典型應(yīng)用

了解AIGC的定義和關(guān)鍵技術(shù)熟悉AIGC的典型應(yīng)用熟悉國內(nèi)外主流AI大模型了解AIGC倫理與安全問題能使用提示詞工程技巧進(jìn)行創(chuàng)作5.1自然語言處理簡介自然語言處理被譽(yù)為“人工智能技術(shù)皇冠上的明珠”，一方面表明了它的重要性，另一方面也顯現(xiàn)出了它的技術(shù)難度。自然語言處理就是讓計算機(jī)理解人類語言，并進(jìn)行相應(yīng)的分析。我們所熟知的蘋果Siri、微軟小冰，就是自然語言處理的典型的應(yīng)用，他們不僅能夠理解我們所說的話，還能夠針對性地做出反饋。5.1.1自然語言處理定義

自然語言處理（NaturalLanguageProcessing，NLP）研究能實現(xiàn)人與計算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法，讓計算機(jī)能夠理解、處理和生成自然語言，使計算機(jī)具有類似人類的語言交互和文本理解能力。它是計算機(jī)科學(xué)、人工智能和語言學(xué)等學(xué)科交叉的前沿領(lǐng)域。NLP與前面章節(jié)學(xué)習(xí)的語音識別、語音合成都是人工智能中與語音相關(guān)的重要領(lǐng)域，目標(biāo)都是讓計算機(jī)能夠理解并以與人類幾乎無異的方式生成語言。5.1.2自然語言處理發(fā)展

自然語言處理發(fā)展到現(xiàn)在，主要經(jīng)歷了三個階段：

第一階段是基于規(guī)則的方法，由于其過度依賴人力，發(fā)展緩慢。第二階段是基于統(tǒng)計的方法，放棄讓機(jī)器模仿人類智能的思路，這一階段在自然語言處理領(lǐng)域的很多任務(wù)上都有不小的突破。第三個階段則是基于深度學(xué)習(xí)的方法，受益于越來越強(qiáng)大的圖形處理器（GPU）的應(yīng)用以及互聯(lián)網(wǎng)數(shù)據(jù)的爆炸式增長，深度學(xué)習(xí)方法迅速席卷了自然語言處理領(lǐng)域，并持續(xù)高速發(fā)展。5.1.3自然語言處理基本任務(wù)

自然語言處理要解決的是人類和機(jī)器的溝通障礙，那它就需要達(dá)成兩個目標(biāo)：其一，讓計算機(jī)聽得懂“人話”——即NLU自然語言理解，讓計算機(jī)具備人類的語言理解能力；其二，讓計算機(jī)能夠“講人話”——即NLG自然語言生成，讓計算機(jī)能夠生成人類理解的語言和文本，比如文章、報告、圖表等等。5.1.3自然語言處理基本任務(wù)把人類的文本拆解來看，可以理解為詞、句、關(guān)系的組合，要讓機(jī)器理解人類語言和文本，首先要讓機(jī)器對文本進(jìn)行拆解分析。自然語言處理基本任務(wù)包括：1.詞法分析2.自動分詞3.文本組塊分析4.句法及語義結(jié)構(gòu)分析5.語義分析5.1.4自然語言處理流程邏輯與實現(xiàn)方法自然語言處理的流程邏輯通常包括以下幾個步驟：1.數(shù)據(jù)收集和預(yù)處理：獲取和清洗原始語言數(shù)據(jù)，包括文本、語料庫或語音數(shù)據(jù)；2.分詞和詞法分析：將原始文本數(shù)據(jù)轉(zhuǎn)換為適合模型輸入的格式，如分詞、去除停用詞、詞干提取等。3.特征提取：將文本轉(zhuǎn)換為計算機(jī)可以處理的向量形式，如詞向量表示、句子向量表示等。常用的特征提取方法包括詞袋模型、TF-IDF、詞嵌入等。4.模型訓(xùn)練：利用訓(xùn)練數(shù)據(jù)集，采用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)方法訓(xùn)練自然語言處理模型。5.模型評估：使用驗證數(shù)據(jù)集評估模型的性能，如準(zhǔn)確率、召回率、F1值等指標(biāo)。6.模型應(yīng)用：將訓(xùn)練好的模型應(yīng)用于實際問題，如文本分類、情感分析、機(jī)器翻譯等任務(wù)。5.1.4自然語言處理流程邏輯與實現(xiàn)方法

在實現(xiàn)自然語言處理時，首先需要考慮數(shù)據(jù)集的選擇和預(yù)處理。數(shù)據(jù)集的選擇和質(zhì)量對于自然語言處理的效果有著很大的影響，因此需要選擇合適的數(shù)據(jù)集，并進(jìn)行數(shù)據(jù)清洗和預(yù)處理。其次還需要采用一些自然語言處理工具和技術(shù)。常用的自然語言處理工具包括NLTK、spaCy、StanfordCoreNLP等。這些工具包提供了很多自然語言處理的功能，如分詞、詞性標(biāo)注、命名實體識別、句法分析等。最后，還需要選擇合適的算法和模型。常用的算法包括樸素貝葉斯、支持向量機(jī)、決策樹、隨機(jī)森林等。同時，深度學(xué)習(xí)也成為自然語言處理中的主流技術(shù)，常用的模型包括卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）和Transformer等。5.1.5自然語言處理應(yīng)用領(lǐng)域

當(dāng)NLP技術(shù)對文本的處理應(yīng)用綜合在一起，就能幫助解決人們在工作和生活場景中的實際問題，現(xiàn)階段主要的應(yīng)用領(lǐng)域包括：機(jī)器翻譯文本摘要問答系統(tǒng)文本分類等。5.2AIGC簡介2022年11月，OpenAI推出大語言模型ChatGPT，掀起了生成式人工智能的熱潮。短短4天時間，其用戶量到達(dá)百萬級，注冊用戶之多導(dǎo)致服務(wù)器一度爆滿。ChatGPT的功能是如此強(qiáng)大，以此連馬斯克都認(rèn)為“我們離強(qiáng)大到危險的AI不遠(yuǎn)了”。生成式人工智能AIGC（ArtificialIntelligenceGeneratedContent）是人工智能1.0時代進(jìn)入2.0時代的重要標(biāo)志。奧爾特曼做客蓋茨節(jié)目奧爾特曼被譽(yù)為“ChatGPT之父”。5.2.1AIGC的定義

生成式人工智能（AIGC），全稱ArtificialIntelligenceGeneratedContent，是一種人工智能技術(shù)，用于自動生成內(nèi)容，該內(nèi)容在很大程度上類似于通過訓(xùn)練數(shù)據(jù)學(xué)到的內(nèi)容分布。與傳統(tǒng)的人工智能主要關(guān)注數(shù)據(jù)模式的識別和預(yù)測不同，AIGC專注于創(chuàng)造新的、富有創(chuàng)意的數(shù)據(jù)。其核心原理在于通過學(xué)習(xí)和理解數(shù)據(jù)分布，進(jìn)而生成具有相似特征的新數(shù)據(jù)。5.2.2AIGC的奧秘AIGC的關(guān)鍵技術(shù)生成算法的不斷創(chuàng)新使得AI能夠生成多種類型的內(nèi)容，如文本、代碼、圖像、語音、視頻等。預(yù)訓(xùn)練模型，即大型模型，極大地提高了AIGC技術(shù)的通用性和工業(yè)化水平。多模態(tài)技術(shù)使AIGC模型能夠融合處理多種數(shù)據(jù)類型，將文本轉(zhuǎn)化為圖像、視頻等，從而進(jìn)一步增強(qiáng)了AIGC模型的通用性。AIGC的迅速發(fā)展得益于三個關(guān)鍵領(lǐng)域的人工智能技術(shù)：5.2.2AIGC的奧秘

大語言模型大型語言模型（LargeLanguageModels，LLMs），是一種基于機(jī)器學(xué)習(xí)和自然語言處理技術(shù)的模型，它通過對大量的文本數(shù)據(jù)進(jìn)行訓(xùn)練，來學(xué)習(xí)服務(wù)人類語言理解和生成的能力。LLM的核心思想是通過大規(guī)模的無監(jiān)督訓(xùn)練來學(xué)習(xí)自然語言的模式和語言結(jié)構(gòu)，這在一定程度上能夠模擬人類的語言認(rèn)知和生成過程。與傳統(tǒng)的自然語言處理模型（NLP模型）相比，LLM能夠更好地理解和生成自然文本，同時還能夠表現(xiàn)出一定的邏輯思維和推理能力。5.2.2AIGC的奧秘

提示詞工程提示詞（prompt）是指在人工智能場景下給模型的一個初始輸入或提示，用于引導(dǎo)模型生成特定的輸出。提示詞工程（PromptEngineering，PE）是一種人工智能技術(shù)，它通過設(shè)計和改進(jìn)AI的prompt來提高AI的表現(xiàn)。PE的目標(biāo)是創(chuàng)建高度有效和可控的AI系統(tǒng)，使其能夠準(zhǔn)確、可靠地執(zhí)行特定任務(wù)。5.2.3AIGC產(chǎn)業(yè)生態(tài)體系5.2.4AIGC典型應(yīng)用現(xiàn)階段國內(nèi)AIGC多以單模型應(yīng)用的形式出現(xiàn)，主要分為文本生成、圖像生成、視頻生成、音頻生成，其中文本生成成為其他內(nèi)容生成的基礎(chǔ)。5.2.4AIGC典型應(yīng)用文本生成人工智能文本生成是使用人工智能(AI)算法和模型文本生成(AITextGeneration)來生成模仿人類書寫內(nèi)容的文本。它涉及在現(xiàn)有文本的大型數(shù)據(jù)集上訓(xùn)練機(jī)器學(xué)習(xí)模型，以生成在風(fēng)格、語氣和內(nèi)容上與輸入數(shù)據(jù)相似的新文本。

文本生成5.2.4AIGC典型應(yīng)用圖像生成(AlImageGeneration)，人工智能(Al)可用于生成非人類藝術(shù)家作品的圖像。這種類型的圖像被稱為“人工智能生成的圖像”。人工智能圖像可以是現(xiàn)實的或抽象的，也可以傳達(dá)特定的主題或信息。

圖像生成這里區(qū)別于搜索（搜索是別人傳上來，檢索圖片，這里是咒語生成，即使相同咒語生成的也不一樣，是獨一無二的）文生圖圖生圖5.2.4AIGC典型應(yīng)用語音生成(AIAudioGeneration)，AIGC的音頻生成技術(shù)可以分為兩類，分別是文本到語音合成和語音克隆。

語音生成5.2.4AIGC典型應(yīng)用視頻生成(AIVideoGeneration)，AIGC已被用于視頻剪輯處理以生成預(yù)告片和宣傳視頻。工作流程類似于圖像生成，視頻的每一幀都在幀級別進(jìn)行處理，然后利用AI算法檢測視頻片段。AIGC生成引人入勝且高效的宣傳視頻的能力是通過結(jié)合不同的AI算法實現(xiàn)的。憑借其先進(jìn)的功能和日益普及，AIGC可能會繼續(xù)革新視頻內(nèi)容的創(chuàng)建和營銷方式。

視頻生成Meta公司在2022年9月推出的Make-A-Video，網(wǎng)頁地址：https://makeavideo.studio一只穿著紅色斗篷超級英雄服裝的狗，在天空中飛翔。5.2.4AIGC典型應(yīng)用行業(yè)及應(yīng)用場景5.2.4AIGC典型應(yīng)用行業(yè)及應(yīng)用場景5.3國內(nèi)外主流AI大模型5.3.1OpenAI的GPT大模型ChatGPT（全名：ChatGenerativePre-trainedTransformer），美國OpenAI研發(fā)的聊天機(jī)器人程序，于2022年11月30日發(fā)布。ChatGPT是人工智能技術(shù)驅(qū)動的自然語言處理工具，它能夠通過理解和學(xué)習(xí)人類的語言來進(jìn)行對話，還能根據(jù)聊天的上下文進(jìn)行互動，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼，寫論文等任務(wù)。GPT大模型主要產(chǎn)品包括GPT-1、GPT-2、GPT-3和GPT-4。這些產(chǎn)品都是OpenAI公司研發(fā)的大型預(yù)訓(xùn)練語言模型，被廣泛應(yīng)用于自然語言處理領(lǐng)域。GPT-1和GPT-2主要用于文本生成和對話系統(tǒng)，而GPT-3和GPT-4則可以應(yīng)用于更加廣泛的領(lǐng)域，包括醫(yī)療、金融、法律等。5.3.2百度的文心大模型百度文心大模型源于產(chǎn)業(yè)、服務(wù)于產(chǎn)業(yè)，是產(chǎn)業(yè)級知識增強(qiáng)大模型。文心大模型的一大特色是“知識增強(qiáng)”，即引入知識圖譜，將數(shù)據(jù)與知識融合，提升了學(xué)習(xí)效率及可解釋性。文心ERNIE自2019年誕生至今，在語言理解、文本生成、跨模態(tài)語義理解等領(lǐng)域取得多項技術(shù)突破文心一言（英文名：ERNIEBot）是百度全新一代知識增強(qiáng)大語言模型，文心大模型家族的新成員，能夠與人對話互動、回答問題、協(xié)助創(chuàng)作，高效便捷地幫助人們獲取信息、知識和靈感。文心一言從數(shù)萬億數(shù)據(jù)和數(shù)千億知識中融合學(xué)習(xí)，得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強(qiáng)化學(xué)習(xí)、提示等技術(shù)，具備知識增強(qiáng)、檢索增強(qiáng)和對話增強(qiáng)的技術(shù)優(yōu)勢。5.3.3科大訊飛的訊飛星?認(rèn)知大模型科?訊?的星?是新一代認(rèn)知智能大模型，擁有跨領(lǐng)域知識和語言理解能力，能夠基于自然對話方式理解與執(zhí)行任務(wù)。5.3.4阿?云的通義大模型阿里通義大模型是阿里云推出的一個超大規(guī)模的語言模型，功能包括多輪對話、文案創(chuàng)作、邏輯推理、多模態(tài)理解、多語言支持。能夠跟人類進(jìn)行多輪的交互，也融入了多模態(tài)的知識理解，且有文案創(chuàng)作能力，能夠續(xù)寫小說，編寫郵件等。5.4AIGC倫理與安全AIGC是人工智能1.0時代進(jìn)入2.0時代的重要標(biāo)志。AIGC對于人類社會、人工智能的意義是里程碑式的。短期來看AIGC改變了基礎(chǔ)的生產(chǎn)力工具，中期來看會改變社會的生產(chǎn)關(guān)系，長期來看促使整個社會生產(chǎn)力發(fā)生質(zhì)的突破，在這樣的生產(chǎn)力工具、生產(chǎn)關(guān)系、生產(chǎn)力變革中，生產(chǎn)要素——數(shù)據(jù)價值被極度放大。5.4.1AIGC社會影響近年來在創(chuàng)新發(fā)展驅(qū)動下，AIGC開始在新聞、影視、娛樂等多個領(lǐng)域展現(xiàn)出強(qiáng)大的潛力，并逐漸成為內(nèi)容生產(chǎn)的新范式。

1、內(nèi)容生產(chǎn)去中心化2、內(nèi)容消費升級3、商業(yè)模式創(chuàng)新總之，AIGC技術(shù)的出現(xiàn)，對于內(nèi)容生產(chǎn)和消費、商業(yè)模式等方面都產(chǎn)生了深遠(yuǎn)的影響。未來隨著技術(shù)的不斷發(fā)展，AIGC將會在更多領(lǐng)域發(fā)揮出更大的潛力，推動整個社會的進(jìn)步和發(fā)展。5.4.2AIGC倫理與安全問題日益復(fù)雜的生成式人工智能技術(shù)的應(yīng)用將引發(fā)更多的倫理與安全問題。

1、法律法規(guī)完善程度低

2、數(shù)據(jù)要素問題突出

3、技術(shù)保密性問題

4、教育問題5.4.2AIGC倫理與安全問題思政小課堂：國內(nèi)AI文生圖著作權(quán)侵權(quán)第一案2023年2月24日，原告李某使用AI圖片生成軟件“StableDiffusion”通過輸入提示詞的方式生成古裝少女的圖片，后將該圖片以“春風(fēng)送來了溫柔”為名發(fā)布在小紅書平臺，并標(biāo)注為“AI插畫”。但在3月2日，原告發(fā)現(xiàn)被告劉某通過百家號賬號發(fā)布名為《三月的愛情，在桃花里》的文章，文章里使用了自己先前生成的圖片作為插圖，并且去除了該圖片原有的水印。隨后，李某以侵害作品署名權(quán)和信息網(wǎng)絡(luò)傳播權(quán)為由將劉某起訴到北京互聯(lián)網(wǎng)法院，要求被告賠償其經(jīng)濟(jì)損失5000元，并賠禮道歉。該案主要涉及三大爭議點：一是“春風(fēng)送來了溫柔”圖片是否構(gòu)成作品，構(gòu)成何種類型作品；二是原告是否享有涉案圖片的著作權(quán)；三是被訴行為是否構(gòu)成侵權(quán)行為，被告是否應(yīng)當(dāng)承擔(dān)法律責(zé)任。在經(jīng)過了三個多月的等待后，11月27日北京互聯(lián)網(wǎng)法院對上述案件做出一審判決。法院在判決中認(rèn)定案涉圖片是原告在AI生成圖片初稿基礎(chǔ)上，通過增加提示詞、調(diào)整參數(shù)等方式，經(jīng)過智力投入后，產(chǎn)出的“智力成果”，該創(chuàng)作過程本質(zhì)為人利用工具進(jìn)行創(chuàng)作。同時，案件中涉及的圖片是原告通過增加提示詞設(shè)計出人物和畫面元素，并通過參數(shù)設(shè)置方式對畫面不斷調(diào)整、優(yōu)化，此過程可以體現(xiàn)出原告的審美選擇與個性判斷，具備“獨創(chuàng)性”。此外，涉案圖片顯然屬于藝術(shù)領(lǐng)域且具有一定表現(xiàn)形式。因此，法院認(rèn)定案件中涉及的滿足“作品”構(gòu)成的四要件，是著作權(quán)法意義上的“作品”?？紤]到案件具體情況和侵權(quán)情節(jié)，法院最終判決被告向原告賠禮道歉，并向原告賠償經(jīng)濟(jì)損失500元。5.4.2AIGC倫理與安全問題5.5AIGC體驗1、推文的編寫：本案例使用文心一言編寫一篇關(guān)于學(xué)生工作室組織人工智能大賽的推文百度一言：/5.5AIGC體驗2、AI作畫：本案例使用通義萬相生成一幅畫作。通義萬相：/wanxiang輸入提示詞“女大學(xué)生，在圖書館聚精會神地看書，陽光透過窗戶”選擇咒語“彩鉛”1、生成式人工智能（ArtificialIntelligenceGeneratedContent，AIGC）是一種人工智能技術(shù)，用于自動生成內(nèi)容，該內(nèi)容在很大程度上類似于通過訓(xùn)練數(shù)據(jù)學(xué)到的內(nèi)容分布。AIGC專注于創(chuàng)造新的、富有創(chuàng)意的數(shù)據(jù)。2、AIGC的迅速發(fā)展得益于三個關(guān)鍵領(lǐng)域的人工智能技術(shù)，即生成算法、預(yù)訓(xùn)練模型和多模態(tài)技術(shù)。3、大型語言模型（LargeLanguageModels，LLMs），是一種基于機(jī)器學(xué)習(xí)和自然語言處理技術(shù)的模型，它通過對大量的文本數(shù)據(jù)進(jìn)行訓(xùn)練，來學(xué)習(xí)服務(wù)人類語言理解和生成的能力。4、現(xiàn)階段國內(nèi)AIGC多以單模型應(yīng)用的形式出現(xiàn)，主要分為文本生成、圖像生成、視頻生成、音頻生成，其中文本生成成為其他內(nèi)容生成的基礎(chǔ)。5、國內(nèi)外主流AI大模型有：OpenAI的GPT大模型、百度的文心大模型、科大訊飛的訊飛星?認(rèn)知大模型、阿?云的通義大模型等。6、日益復(fù)雜的生成式人工智能技術(shù)的應(yīng)用將引發(fā)更多的倫理與安全問題，需要“建立穩(wěn)定、持久的生成式人工智能技術(shù)法律框架”。本章總結(jié)小組練習(xí)主題：自選主題和模型編寫一篇推文要求：制作一個PPT，抽1-2組下節(jié)課演示時間5-10分鐘感謝聆聽第六章人工智能應(yīng)用開發(fā)環(huán)境及工具本章目標(biāo)

了解人工智能應(yīng)用開發(fā)環(huán)境掌握人工智能應(yīng)用開發(fā)工具6.1.1PyCharm1.PyCharm的下載官網(wǎng)地址：/pycharm/download/圖6-1PyCharm安裝包下載界面6.1.1PyCharm2.PyCharm的安裝與啟動1）PyCharm的安裝

雙擊

PyCharmProfessional2023.3.exe，按照操作提示進(jìn)行安裝。圖6-2PyCharm安裝界面（a）

圖6-2PyCharm安裝界面（b）6.1.1PyCharm2.PyCharm的安裝與啟動2）

PyCharm的啟動雙擊桌面上的PyCharm圖標(biāo)或快捷方式打開應(yīng)用程序。圖6-3

PyCharm操作界面6.1.2Anaconda

Anaconda是一個開源的Python發(fā)行版本，其包含了conda、Python等180多個科學(xué)包及其依賴項。1.Anaconda的下載

圖6-4Anaconda官網(wǎng)登錄Anaconda官網(wǎng)www.Anaconda.com下載安裝包。6.1.2Anaconda2.Anaconda的安裝和啟動圖6-5Anaconda安裝界面1）Anaconda的安裝：雙擊安裝包，根據(jù)安裝包界面提示即可完成安裝。Anaconda是跨平臺的，有Windows、MacOS、Linux等版本。這里以Windows版本為例，下載安裝64位安裝包（64-BitGraphicalInstaller）。6.1.2Anaconda2.Anaconda的安裝和啟動圖6-6AnacondaNavigator啟動界面2）Anaconda的啟動：單擊“開始”|“Anaconda3（64-bit）”|“AnacondaNavigator”即可。6.1.2Anaconda2.Anaconda的安裝和啟動圖6-7AnacondaNavigator應(yīng)用界面

Anaconda內(nèi)置的工具：包括JupterNotebook、PyCharmProfessional、PowershellPrompt等。

?

通過“Environments”可以新建或管理開發(fā)環(huán)境。6.1.2Anaconda3.Jupyternotebook的使用圖6-8圖7-8在JupyterNotebook應(yīng)用界面

JupyterNotebook是一個基于網(wǎng)頁的用于交互計算的應(yīng)用程序。它能讓用戶把說明文本、數(shù)學(xué)公式、代碼和可視化內(nèi)容等全部組合到一個易于共享的文檔中，便于研究和教學(xué)。被廣泛應(yīng)用于數(shù)據(jù)處理、統(tǒng)計建模、構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)模型、可視化數(shù)據(jù)等領(lǐng)域。6.1.3Python第三方庫的安裝與使用第三方庫的安裝有三種方式：pip安裝自定義安裝文件安裝

Python成為最流行的語言之一，除了它的簡單易學(xué)和語法簡單外，還有一個重要的原因是Python有非常強(qiáng)大的第三方庫。第三方庫不是官方的內(nèi)置庫，而是由社區(qū)大量的開發(fā)者提供的，據(jù)統(tǒng)計目前第三方庫的數(shù)量已經(jīng)超過十多萬種。6.1.3Python第三方庫的安裝與使用pipinstall包名#安裝第三方庫pipinstall--upgrade包名#升級第三方庫pipuninstall包名#卸載已安裝的第三方庫piplist#列出已經(jīng)安裝的第三方庫的列表pipshow包名#顯示已經(jīng)安裝的第三方庫的信息pipdownload包名#下載第三方庫，但是不安裝1.pip安裝pip安裝是最常用的一種安裝方式，使用的前提條件是電腦必須處于聯(lián)網(wǎng)狀態(tài)。6.1.3Python第三方庫的安裝與使用6.1.3Python第三方庫的安裝與使用pyinstaller庫可以將Python程序打包成可執(zhí)行文件。安裝該庫使用如下命令：pipinstallpyinstaller2、在命令提示符中輸入：pyinstaller-FChristmasTree.py3、打開dist文件，就能看到生成出來的可執(zhí)行文件了。1、打開保存代碼的文件夾，并在文件路徑框中輸入cmd回車，會彈出命令提示符的窗口，并處于當(dāng)前目錄下6.1.3Python第三方庫的安裝與使用如果安裝失敗或者比較慢，則可嘗試使用指定源下載安裝方式或者離線安裝方式。（1）定下載源以下是國內(nèi)常用的下載源站清華大學(xué):

/simple/阿里云:

/pypi/simple/中國科技大學(xué):

/simple/豆瓣:

/simple/如需安裝opencv則可執(zhí)行以下命令：pipinstallopencv-python-i/simple/6.1.3Python第三方庫的安裝與使用如果安裝失敗或者比較慢，則可嘗試使用指定源下載安裝方式或者離線安裝方式。（2）下載whl文件到本地離線安裝進(jìn)入網(wǎng)站，如：/~gohlke/pythonlibs/，找到你需要下載的庫，將下載好的whl文件保存到python安裝目錄\Lib\site-packages，在該文件下打開cmd，輸入pipinstallwhl文件名即可進(jìn)行安裝一定要注意在安裝包之前要下安裝他所依賴的一些庫，否則就會報錯。同時，在對某一個庫進(jìn)行更新之后，也一定要注意同時更新它依賴的庫，否則也會出現(xiàn)錯誤。6.1.3Python第三方庫的安裝與使用2.通過pychram安裝打開File-Settings-Project-PythonInterpreter可以看到已經(jīng)安裝的第三方庫以及版本，然后點擊下方的加號可以進(jìn)行添加。6.2.1數(shù)據(jù)采集工具——八爪魚1.八爪魚采集器下載圖6-11“八爪魚Windows客戶端下載”界面

八爪魚（網(wǎng)頁數(shù)據(jù)采集器）是深圳數(shù)闊信息技術(shù)有限公司研發(fā)的一款業(yè)界領(lǐng)先的網(wǎng)頁采集軟件，它使用簡單、功能強(qiáng)大、全網(wǎng)通用，完全模擬人瀏覽網(wǎng)頁的行為，通過簡單的頁面點選，生成自動化的采集流程，從而將網(wǎng)頁數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，存儲于EXCEL或數(shù)據(jù)庫等多種形式。

登錄“數(shù)闊”官方網(wǎng)站，單擊“八爪魚Windows客戶端下載”即可。6.2.1數(shù)據(jù)采集工具——八爪魚2.八爪魚采集器的使用圖6-12“八爪魚采集器”操作界面

采集數(shù)據(jù)的第一步永遠(yuǎn)是找到目標(biāo)網(wǎng)址并輸入。6.2.2數(shù)據(jù)分析和共享工具——PowerBI1.PowerBIDesktop的下載圖6-14

微軟PowerBI官網(wǎng)頁面

PowerBI是微軟推出的數(shù)據(jù)分析和可視化工具，是一套商業(yè)分析工具?？蛇B接數(shù)百個數(shù)據(jù)源、簡化數(shù)據(jù)準(zhǔn)備并提供即席分析。支持各種本地Excel、CSV、文件夾等，支持Oracel、Mysql等各類數(shù)據(jù)庫，支持由表格構(gòu)成前端的Web等?？梢詮母鞣N數(shù)據(jù)源中提取數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行整理分析，然后生成精美的圖表，并且可以在電腦端和移動端與他人共享的一個神器。/zh-cn/下載地址：6.2.2數(shù)據(jù)分析和共享工具——PowerBI2.PowerBIDesktop的安裝圖6-17PowerBI安裝

PowerBI包含桌面版PowerBIDesktop、在線PowerBI服務(wù)和移動端PowerBI應(yīng)用。雙擊PowerBIDesktop（X64）文件夾，按照提示操作即可以完成安裝。6.2.2數(shù)據(jù)分析和共享工具——PowerBI3.PowerBIDesktop的使用圖6-18PowerBI界面使用PowerBI軟件可以完成數(shù)據(jù)的獲取、清洗、建模以及可視化展示。另外，PowerBI還包括一個報表生成器，用于創(chuàng)建需要在PowerBI服務(wù)中分享的分頁報表。6.2.3界面設(shè)計工具——QtDesigner1.QTdesigner的安裝QtDesigner即Qt設(shè)計師，是QT項目開發(fā)的可視化圖形界面編輯器。http://www.python3.vip/tut/py/gui/qt_03/第一種方式：如果已經(jīng)安裝pycharm，就可以直接在設(shè)置當(dāng)中安裝。圖6-19操作界面點擊

“+”，在圖7-20、7-21所示窗口中搜索PyQt5、PyQt5-tools，安裝PyQt5和QT工具包。圖6-20搜索PyQt5和QT工具包界面6.2.3界面設(shè)計工具——QtDesigner1.QTdesigner的安裝http://www.python3.vip/tut/py/gui/qt_03/第二種方式：在終端命令窗口使用pip指令安裝。1）安裝PyQt5：pipinstallPyQt5-i/simple2）安裝Qt的工具包：pipinstallPyQt5-tools-i/simple3）通過命令行啟動PythonQtDesigner：designerQtDesigner即Qt設(shè)計師，是QT項目開發(fā)的可視化圖形界面編輯器。6.2.3界面設(shè)計工具——QtDesigner1.QTdesigner的安裝http://www.python3.vip/tut/py/gui/qt_03/第三種方式：在Windows下，運行Python安裝目錄下Scripts\pyside2-designer.exe文件。按照提示進(jìn)行操作即可以完成安裝。QtDesigner即Qt設(shè)計師，是QT項目開發(fā)的可視化圖形界面編輯器。圖6-23Qtdesigner安裝向?qū)?.2.3界面設(shè)計工具——QtDesigner2.添加PyUIC工具PyUIC是一種PythonGUI應(yīng)用程序的用戶界面代碼生成器，可以將QtDesignerUI文件生成Python源代碼。PyUIC生成的Python代碼是基于Qt的PyQt和PySide庫。它可以與其他Python庫集成，如numpy、matplotlib等。PyUIC生成的代碼易于閱讀和修改，可以方便地定制應(yīng)用程序的用戶界面。添加PyUIC工具的方法與添加QtDesigner類似，可以將PyUIC工具添加到PyCharm中。6.2.3界面設(shè)計工具——QtDesigner3.QTDesigner的啟動雙擊designer.exe文件即可啟動QTdesigner圖6-24Qtdesigner界面6.2.3界面設(shè)計工具——QtDesigner4.QTdesigner的使用1）QtDesigner編輯UI圖6-25“主窗口”設(shè)計界面6.2.3界面設(shè)計工具——QtDesigner4.QTdesigner的使用2）制作ui文件，文件名為*.ui。圖6-26測試對話框.ui6.2.3界面設(shè)計工具——QtDesigner4.QTdesigner的使用3）將UI文件轉(zhuǎn)化為Python代碼并顯示。QtDesigner設(shè)計好的UI文件可以通過PyQt或PySide中的UIC模塊將其轉(zhuǎn)換為Python代碼，從而使其可以在Python程序中使用。方法一：

在

PyCharm中右鍵單擊.ui文件（test_dialig.ui），然后選擇“ExternalTools”菜單，單擊PyUIC即可。

方法二：

進(jìn)入QT命令行，輸入：uictest_dialig.py-otest_dialig.ui6.2.4數(shù)據(jù)標(biāo)注工具——LabelImg

LabelImg（也叫打標(biāo)簽），是一個開源的圖形圖像注釋工具，是目標(biāo)檢測領(lǐng)域最常使用的標(biāo)注工具之一。它是用Python編寫的，它的圖形界面使用PyQt，注釋以PascalVOC格式保存為xml文件。1.LabelImg的安裝在Windows10系統(tǒng)下使用Anaconda來安裝LabelImg。1）打開AnacondaPrompt,輸入：condacreate--name=labelImgpython=3.72）輸入命令：condaactivatelabelImg激活環(huán)境。3）輸入命令：pipinstalllabelImg安裝LabelImg軟件4）輸入命令：labelImg即可打開labelImg軟件。圖6-28安裝LabelImg圖6-29