第10章 第三方庫

老師：李挺第十章第三方庫第三方庫第三方庫縱覽網(wǎng)絡(luò)爬蟲： requests、scrapy數(shù)據(jù)分析： numpy、scipy、pandas文本處理： pdfminer、openpyxl、python-docx、beautifulsoup4數(shù)據(jù)可視化： matplotlib、TVTK、mayavi用戶圖形界面： PyQt5、wxPython、PyGTK機(jī)器學(xué)習(xí)： scikit-learn、TensorFlow、TheanoWeb開發(fā)： Django、Pyramid、Flask游戲開發(fā)： Pygame、Panda3D、cocos2d更多第三方庫： PIL、SymPy、NLTK、WeRoBot、MyQR?網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲是自動(dòng)進(jìn)行HTTP訪問并捕獲HTML頁面的程序。?requests庫是一個(gè)簡潔且簡單的處理HTTP請求的第三方庫。優(yōu)點(diǎn)：程序編寫過程更接近正常URL訪問過程。該庫建立在urllib3庫基礎(chǔ)上。?scrapy庫是Python開發(fā)的一個(gè)快速的、高層次的web獲取框架。不同于簡單的網(wǎng)絡(luò)爬蟲功能，scrapy框架本身包含了成熟網(wǎng)絡(luò)爬蟲系統(tǒng)所應(yīng)該具有的部分共用功能，它是一個(gè)半成品，任何人都可以根據(jù)需求方便地利用框架已有功能經(jīng)過簡單擴(kuò)展實(shí)現(xiàn)專業(yè)的網(wǎng)絡(luò)爬蟲系統(tǒng)。?數(shù)據(jù)分析?numpy是一種開源數(shù)值計(jì)算擴(kuò)展第三方庫用于處理數(shù)據(jù)類型相同的多維數(shù)組，可以用來存儲(chǔ)和處理大型矩陣，比Python語言提供的列表結(jié)果要高效得多。?scipy是一款方便、易用、專為科學(xué)和工程設(shè)計(jì)的Python工具包，它是在numpy庫的基礎(chǔ)上增加了眾多的數(shù)學(xué)、科學(xué)以及工程計(jì)算中常用的庫函數(shù)。?pandaspandas是基于numpy擴(kuò)展的一個(gè)重要第三方庫，pandas最初被作為金融數(shù)據(jù)分析工具而開發(fā)。?文本處理?beautifulsoup4?pdfminer?openpyxl?python-docx是一個(gè)可以從PDF文檔中提取各類信息的第三方庫，能夠完全獲取并分析PDF的文本數(shù)據(jù)，并且獲取PDF中文本的準(zhǔn)確位置、字體、行數(shù)等信息。是一個(gè)處理Excel文檔的Python第三方庫。是一個(gè)處理word文檔的Python第三方庫用于解析HTML和XML。?數(shù)據(jù)可視化?matplotlib?TVTK?mayavi數(shù)據(jù)可視化是指根據(jù)數(shù)據(jù)特點(diǎn)將其展示為易于理解的圖形的過程。主要進(jìn)行二維圖標(biāo)數(shù)據(jù)展示，廣泛用于科學(xué)計(jì)算的數(shù)據(jù)可視化。是一個(gè)開源、跨平臺(tái)、支持平行處理的圖形應(yīng)用函數(shù)庫，它是專業(yè)可編程的三維可視化工具在VTK基礎(chǔ)之上開發(fā)的，可以更為方便開發(fā)實(shí)用的三維可視化工具。?用戶圖形界面?PyQt5?wxPython?PyGTKPython標(biāo)準(zhǔn)庫內(nèi)置了一個(gè)GUI庫(Tkinter)，但過于陳舊，開發(fā)控件也很有限。它有超過620個(gè)類和近6000個(gè)函數(shù)和方法。它是Python中最為成熟的商業(yè)級第三方庫，可以在windows、Linux和MacOSX等操作系統(tǒng)上跨平臺(tái)使用可以輕松地創(chuàng)建健壯可靠、功能強(qiáng)大的圖形用戶界面。PyGTK具有跨平臺(tái)性，利用它編寫的代碼能夠不加修改地穩(wěn)定運(yùn)行在各操作系統(tǒng)中。?機(jī)器學(xué)習(xí)?scikit-learn(sklearn)?TensorFlow?Theano機(jī)器學(xué)習(xí)是人工智能領(lǐng)域的一個(gè)重要分支，Python也是機(jī)器學(xué)習(xí)和人工智能的重要基礎(chǔ)語言。是一個(gè)簡單高效的數(shù)據(jù)挖掘和數(shù)據(jù)分析工具，基于numpy、scipy和matplotlib庫構(gòu)建，專門針對機(jī)器學(xué)習(xí)應(yīng)用而發(fā)展起來的一款開源框架，基本功能包括：分類、回歸、聚類、數(shù)據(jù)降維、模型選擇和數(shù)據(jù)預(yù)處理。是谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)，也是用來支撐AlphaGo系統(tǒng)的后臺(tái)框架。應(yīng)用十分廣泛，從語音識別或圖像識別到機(jī)器翻譯或自動(dòng)跟蹤等，既可以運(yùn)行在萬臺(tái)服務(wù)器的數(shù)據(jù)中心，也可以運(yùn)行在智能手機(jī)或嵌入式設(shè)備中。為執(zhí)行深度學(xué)習(xí)中大規(guī)模神經(jīng)網(wǎng)絡(luò)算法的運(yùn)算而設(shè)計(jì)，擅長處理多維數(shù)組，偏向底層開發(fā)。?Web開發(fā)?Django?Pyramid?FlaskDjango是Python生態(tài)中最流行的開源Web應(yīng)用框架。提供了開發(fā)網(wǎng)站經(jīng)常用到的模塊，Django的開發(fā)理念鼓勵(lì)快速開發(fā)，減少程序員建立一個(gè)高性能web應(yīng)用所花費(fèi)的時(shí)間和精力，形成一站式解決方案。是一個(gè)通用、開源的PythonWeb應(yīng)用程序開發(fā)框架，讓Python開發(fā)者更簡單地創(chuàng)建Web應(yīng)用。相比Django是一個(gè)小巧、快速、靈活的開源PythonWeb框架。是輕量級Web應(yīng)用框架，相比Django和Pyramid，它也被稱為微框架。使用Flask開發(fā)Web應(yīng)用十分方便，甚至幾行代碼即可建立一個(gè)小型網(wǎng)站。?游戲開發(fā)?Pygame?Panda3D?cocos2d是面向游戲開發(fā)入門的第三方庫，除了制作游戲外，還用于制作多媒體應(yīng)用程序。是一個(gè)開源、跨平臺(tái)的3D渲染和游戲開發(fā)庫，簡單說，它是一個(gè)3D游戲引擎，支持Python和C++兩種語言。是一個(gè)構(gòu)建2D游戲和圖形界面交互式應(yīng)用的框架，能夠利用GPU進(jìn)行加速。pipinstallPygamepipinstallPanda3Dpipinstallcocos2d?更多第三方庫?PIL?SymPy?NLTK?WeRoBot?MyQRPython語言有十幾萬個(gè)第三方庫，覆蓋信息技術(shù)幾乎所有領(lǐng)域。即使在每個(gè)方向，也會(huì)有大量的專業(yè)人員開發(fā)多個(gè)第三方庫來給出具體設(shè)計(jì)。是圖像處理方面的重要第三方庫，支持圖像存儲(chǔ)、處理和顯示，能夠處理幾乎所有的圖片格式，可以完成對圖像的縮放、剪裁、疊加以及向圖像添加線條、圖像和文字等操作。是一個(gè)符號計(jì)算的庫，是一個(gè)全功能的計(jì)算機(jī)代數(shù)系統(tǒng)。代碼簡潔、易于理解，支持符號計(jì)算、高精度計(jì)算、模式匹配、繪制、解方程、微積分、組合數(shù)學(xué)、離散數(shù)學(xué)、幾何學(xué)、概率與統(tǒng)計(jì)、物理學(xué)等領(lǐng)域的計(jì)算和應(yīng)用。自然語言處理庫，支持多種語言，尤其對中文支持良好，可以進(jìn)行預(yù)料處理、文本統(tǒng)計(jì)、內(nèi)容理解、情感分析等多種應(yīng)用。是一個(gè)微信公眾號開發(fā)框架，可以解析微信服務(wù)器發(fā)來的消息，并將消息轉(zhuǎn)換成Message或者Event類型。是一個(gè)能夠產(chǎn)生基本二維碼、藝術(shù)二維碼和動(dòng)態(tài)效果二維碼的Python第三方庫。第三方庫的安裝查看pip是否安裝：在命令提示符(CMD)中輸入pippip是一個(gè)現(xiàn)代的，通用的Python包管理工具。提供了對Python包的查找、下載、安裝、卸載的功能。第三方庫安裝的方法安裝包管理工具：easy_install、pip(√)源文件安裝win7打開命令提示符安裝一個(gè)庫的命令格式：pipinstall<擬安裝庫名> 卸載一個(gè)已經(jīng)安裝第三方庫的命令格式：pipuninstall<擬卸載庫名> 列出當(dāng)前系統(tǒng)已經(jīng)安裝第三方庫的命令格式：piplist列出某個(gè)已經(jīng)安裝庫詳細(xì)信息的命令格式：pipshow<擬查詢庫名> Pycharm安裝第三方庫新建一個(gè)項(xiàng)目時(shí)，項(xiàng)目解釋器如果選擇不同，需要重新安裝第三方庫/simple/清華大學(xué)鏡像/simple/豆瓣鏡像/pypi/simple/阿里鏡像第三方庫默認(rèn)下載地址為：/simple國外服務(wù)器地址下載可能會(huì)比較慢如果下載慢，可以選擇國內(nèi)鏡像地址：選擇已經(jīng)存在的解釋器，就可以不用重新安裝創(chuàng)建一個(gè)虛擬的python環(huán)境。這里所有的類庫依賴都可以直接脫離系統(tǒng)安裝的python獨(dú)立運(yùn)行。關(guān)聯(lián)已經(jīng)存在的python解釋器優(yōu)點(diǎn)：?python項(xiàng)目可以獨(dú)立部署?防止一臺(tái)服務(wù)器部署多個(gè)項(xiàng)目之間存在類庫的版本依賴問題發(fā)生?充分發(fā)揮項(xiàng)目的靈活性由于中文文本中的單詞不是通過空格或者標(biāo)點(diǎn)符號分割，中文及類似語言存在一個(gè)重要的“分詞”問題。利用一個(gè)中文詞庫，將待分的內(nèi)容與分詞詞庫進(jìn)行比對，通過圖結(jié)構(gòu)和動(dòng)態(tài)規(guī)劃方法找到最大概率的詞組。除了分詞，jieba還提供增加自定義中文單詞的功能01jieba庫概述分詞原理三種分詞模式精確模式將句子最精確地切開，適合文本分析；搜索引擎模式在精確模式基礎(chǔ)上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞全模式把句子中所有可以成詞的詞語都掃描出來，速度非常快，但是不能解決歧義jieba.lcut(s)jieba.lcut(s,cut_all=True)jieba.lcut_for_search(s)以詞語為基本單元，根據(jù)其在文本中出現(xiàn)的頻率設(shè)計(jì)不同大小以形成視覺上不同效果，形成“關(guān)鍵詞云層”或“關(guān)鍵詞渲染”，從而使讀者只要“一瞥”即可領(lǐng)略文本的主旨。在生成詞云時(shí)，wordcloud默認(rèn)會(huì)以空格或標(biāo)點(diǎn)為分隔符對目標(biāo)文本進(jìn)行分詞處理。對于中文文本，分詞處理需要由用戶來完成。一般步驟是先將文本分詞處理，然后以空格拼接，再調(diào)用wordcloud庫函數(shù)。wordcloud庫的核心是WordCloud類，所有的功能都封裝在WordCloud類中。使用時(shí)需要實(shí)例化一個(gè)WordColoud類的對象，并調(diào)用其generate(text)方法將text文本轉(zhuǎn)化為詞云。02wordcloud庫概述什么是詞云詞云的原理核心函數(shù)參數(shù)功能font_path指定字體文件的完整路徑，默認(rèn)Nonewidth生成圖片寬度，默認(rèn)400像素height生成圖片高度，默認(rèn)200像素mask詞云形狀，默認(rèn)None，即，方形圖min_font_size詞云中最小的字體字號，默認(rèn)4號font_step字號步進(jìn)間隔，默認(rèn)1min_font_size詞云中最大的字體字號，默認(rèn)None，根據(jù)高度自動(dòng)調(diào)節(jié)max_words詞云圖中最大詞數(shù)，默認(rèn)200stopwords被排除詞列表，排除詞不在詞云中顯示background_color圖片背景顏色，默認(rèn)黑色WordCloud對象創(chuàng)建的常用參數(shù)generate(text):

由text文本生成詞云to_file(filename):將詞云圖保存為名為filename的文件WordCloud類的常用方法PyQt5是一個(gè)用于創(chuàng)建GUI應(yīng)用程序的跨平臺(tái)的工具包。GUI：圖形用戶界面用戶軟件界面淘寶服務(wù)器支付寶服務(wù)器銀行服務(wù)器PyQt5是由一系列Python模塊組成。超過620個(gè)類，6000函數(shù)和方法。能在諸如Unix、Windows和MacOS等主流操作系統(tǒng)上運(yùn)行?！敦?cái)富》全球500強(qiáng)企業(yè)中的前10家企業(yè)，有8家在使用Qt開發(fā)軟件。03什么是PyQt5能夠在Windows、Linux、MacOSX等操作系統(tǒng)下將Python源文件打包，變成直接可運(yùn)行的可執(zhí)行文件。通過對源文件打包，Python程序可以在沒有安裝Python的環(huán)境中運(yùn)行，也可以作為一個(gè)獨(dú)立文件方便傳遞和管理。PyInstaller<Python源程序文件名>執(zhí)行完畢后，源文件所在目錄將生成dist和build兩個(gè)文件夾。最終的打包程序在dist內(nèi)部與源文件同名的目錄中。PyInstaller庫概述04Pyin