Python程序第三方數(shù)據(jù)庫

Python程序設(shè)計基礎(chǔ)教程Python第三方庫第十章一零.二Pylnstaller庫一零.一第三方庫地安裝一零.三jieba庫一.五計算機網(wǎng)絡(luò)地類別一零.四wordcloud庫一零.五Python常用第三方庫一零.六題一零.一.一第三方庫地安裝方法一零.一.二pip工具地使用一零.一第三方庫地安裝一.一Python語言簡介Python語言簡介Python第三方庫依照安裝方式靈活與難易程度有三種安裝方法:pip工具安裝,自定義安裝與文件安裝。一．pip工具安裝常用且高效地Python第三方庫安裝方式是采用pip工具安裝。pip是Python官方提供并維護地在線第三方庫安裝工具。pipinstall<擬安裝庫名>pygame開發(fā)庫地安裝過程如下所示。在命令行下輸入如下命令:C:\>pipinstallpygame就會出現(xiàn)如下提示:CollectingpygameInstallingcollectedpackages:pygameSuccessfullyinstalledpygame-一.九.四如果在網(wǎng)絡(luò)正常地情況下,幾分鐘就會安裝完成,并有安裝成功地提示信息。一零.一.一第三方庫地安裝方法一.一.一Python地發(fā)展史pip是Python第三方庫主要地安裝方式,可以安裝超過九零%以上地第三方庫。然而,還有一些第三方庫暫時無法用pip安裝,此時,需要其它地安裝方法。pip工具與操作系統(tǒng)也有關(guān)系,在MacOSX與Linux等操作系統(tǒng),pip工具幾乎可以安裝任何Python第三方庫,在Windows操作系統(tǒng),有一些第三方庫仍然需要用其它方式嘗試安裝。一零.一.一第三方庫地安裝方法一零.一.一第三方庫地安裝方法二．自定義安裝自定義安裝指按照第三方庫提供地步驟與方式安裝。第三方庫都有主頁用于維護庫地代碼與文檔。以科學計算用地NumPy為例,開發(fā)者維護地官方主頁是:http://./瀏覽該網(wǎng)頁找到下載鏈接,如下:http://./scipylib/download.html而根據(jù)指示步驟安裝。一.一.二Python地特點一零.一.一第三方庫地安裝方法三．文件安裝為了解決第三方庫安裝問題,美加州大學爾灣分校提供了一個網(wǎng)站,幫助Python用戶獲得Windows可直接安裝地第三方庫文件,鏈接地址如下:http://./~gohlke/pythonlibs/這里以scipy為例說明,首先在上述地網(wǎng)站頁面找到scipy庫對應地內(nèi)容。選擇其地.whl文件下載,這里選擇適用于Python三.五版本解釋器與三二位系統(tǒng)地對應文件:scipy-零.一七.一-cp三五-cp三五m-win三二.whl,下載該文件到D:\pycodes目錄。然后,采用pip命令安裝該文件。:\>pipinstallD:\pycodes\scipy-零.一七.一-cp三五-cp三五m-win三二.wh一Processingd:\pycodes\scipy-零.一七.一-cp三五-cp三五m-win三二.wh一Installingcollectedpackages:scipySuccessfullyinstalledscipy-零.一七.一一零.一.一第三方庫地安裝方法對于上述三種安裝方法,一般優(yōu)先選擇采用pip工具安裝,如果安裝失敗,則選擇自定義安裝或者文件安裝。另外,如果需要在沒有網(wǎng)絡(luò)條件下安裝Python第三方庫,可直接采用文件安裝方式。其,.whl文件可以通過pipdownload指令在有網(wǎng)絡(luò)條件地情況下獲得。執(zhí)行pip-h將列出pip常用地子命令。在命令行下輸入如下命令:C:\>pip-h執(zhí)行命令后,會輸出pip常用地子命令與簡單說明。一零.一.二pip工具使用Python地優(yōu)點Usage:pip<mand>[options]mands:installInstallpackagesdownloadDownloadpackages.uninstallUninstallpackages.freezeOutputinstalledpackagesinrequirementsformat.listListinstalledpackages.showShowinformationaboutinstalledpackages.checkVerifyinstalledpackageshavepatibledependencies.configManagelocalandglobalconfiguration.searchSearchPyPIforpackages.wheelBuildwheelsfromyourrequirements.hashputehashesofpackagearchives.pletionAhelpermandusedformandpletion.helpShowhelpformands.一零.一.二pip工具使用pip支持安裝（install）,下載（download）,卸載（uninstall）,列表（list）,查看（list）,查找（search）等一系列安裝與維護子命令。pip地uninstall子命令可以卸載一個已經(jīng)安裝地第三方庫,格式如下:pipuninstall<擬卸載庫名>pip地list子命令可以列出當前系統(tǒng)已經(jīng)安裝地第三方庫,格式如下:piplistpip地show子命令列出某個已經(jīng)安裝庫地詳細信息,格式如下:pipshow<擬查詢庫名>pip地download子命令可以下載第三方庫地安裝包,但并不安裝,格式如下:pipdownloadpip地search子命令可以聯(lián)網(wǎng)搜索庫名或摘要關(guān)鍵字,格式如下:pipsearch<擬查詢關(guān)鍵字>一零.一.二pip工具使用Python地缺點以查詢含有installer單詞地庫為例,執(zhí)行效果如下:C:\>pipsearchinstallertelejson-installer(零.一.零.三)-PythonTelejsonInstaller.deployme-installer(零.一dev)-Simpleinstallerfordeploymewxpython-installer(零.一.零)-AwxPythoninstallerforLinuxdistributionrobotpy-installer(二零一八.零.五)-InstallationutilityprogramforRobotPygooglefonts-installer(零.三.一)-Googlefontsinstallerutility.archive-installer(二零一六.一.一)-Userlocalapplicationinstallerwithouthassle.scs-installer(零.一.一一)-Installer/MetapackageforSouthCoastScienceSoftware注:這里只列出了部分查詢結(jié)果。一零.一.二pip工具使用一．安裝PyInstallerPyInstaller是一個十分有用地Python第三方庫,它能夠在Windows,Linux,MacOSX等操作系統(tǒng)下將Python源文件打包,變成直接可運行地可執(zhí)行文件。通過對源文件打包,Python程序可以在沒有安裝Python地環(huán)境運行,也可以作為一個獨立文件方便傳遞與管理。:\>pipinstallPyInstaller。二．程序打包使用PyInstaller庫對Python源文件打包十分簡單,使用方法如下::\>PyInstaller<Python源程序文件名>執(zhí)行完畢后,源文件所在目錄將生成dist與build兩個文件夾。終地打包程序在dist內(nèi)部與源文件同名地目錄?？梢酝ㄟ^-F參數(shù)對Python源文件生成一個獨立地可執(zhí)行文件,如下::\>PyInstaller-F<Python源程序文件名>執(zhí)行后在dist目錄出現(xiàn)了<Python源程序文件名>.exe文件,沒有任何依賴庫,雙擊exe文件即可執(zhí)行。PyInstaller一些常用參數(shù)如表一零-一所示。一零.二PyInstaller庫一零.二PyInstaller庫序號參數(shù)功能一-h,--help查看幫助二--clean清理打包過程地臨時文件三-D,--onedir默認值,生成dist目錄四-F,--onefile在dist文件夾只生成獨立地打包文件五-i<圖標文件名.ico>指定打包程序使用地圖標（icon）文件表一零-一PyInstaller常用參數(shù)一．jieba庫安裝由于文文本地單詞不是通過空格或者標點符號分割,文及類似語言存在一個重要地"分詞"問題。jieba（結(jié)巴）是Python一個重要地第三方文分詞函數(shù)庫。:\>pipinstalljiebajieba庫地分詞原理是利用一個文詞庫,將待分詞地內(nèi)容與分詞詞庫行比對,通過圖結(jié)構(gòu)與動態(tài)規(guī)劃方法找到大概率地詞組。除了分詞,jieba還提供增加自定義文單詞地功能。jieba庫支持三種分詞模式:精確模式,將句子精確地切開,適合文本分析;全模式,把句子所有可以成詞地詞語都掃描出來,速度非?？?但是不能解決歧義;搜索引擎模式,在精確模式基礎(chǔ)上,對長詞再次切分,提高召回率,適合用于搜索引擎分詞。對文分詞來說,jieba庫只需要一行代碼即可。>>>importjieba>>>jieba.lcut("全計算機等級考試")Buildingprefixdictfromthedefaultdictionary...LoadingmodelfromcacheC:\AppData\Local\Temp\jieba.cacheLoadingmodelcost一.零零一seconds.Prefixdicthasbeenbuiltsuccesfully.['全','計算機','等級','考試']一零.三jieba庫一零.三jieba庫二．jieba庫使用jieba.lcut(s)是常用地文分詞函數(shù),用于精確模式,即將字符串分割成等量地文詞組,返回結(jié)果是列表類型。>>>importjieba>>>ls=jieba.lcut("全計算機等級考試Python科目")>>>print(ls)['全','計算機','等級','考試','Python','科目']jieba.lcut(s,cut_all=True)用于全模式,即將字符串地所有分詞可能均列出來,返回結(jié)果是列表類型,冗余大。>>>importjieba>>>ls=jieba.lcut("全計算機等級考試Python科目",cut_all=True)>>>print(ls)['全','計','計算','計算機','算機','等級','考試','Python','科目']jieba.lcut_for_search(s)返回搜索引擎模式,該模式首先執(zhí)行精確模式,然后再對其長詞一步切分獲得終結(jié)果。一零.三jieba庫>>>importjieba>>>ls=jieba.lcut_for_search("全計算機等級考試Python科目")>>>print(ls)['全','計算','算機','計算機','等級','考試','Python','科目']搜索引擎模式更傾向于尋找短詞語,這種方式具有一定冗余度,但冗余度相比全模式較少。如果希望對文本準確分詞,不產(chǎn)生冗余,只能選擇jieba.lcut(s)函數(shù),即精確模式。如果希望對文本分詞更準確,不漏掉任何可能地分詞結(jié)果,請選用全模式。如果沒想好怎么用,可以使用搜索引擎模式。jieba.add_word()函數(shù),顧名思義,用來向jieba詞庫增加新地單詞。>>>importjieba>>>jieba.add_word("Python科目")>>>ls=jieba.lcut("全計算機等級考試Python科目")>>>print(ls)['全','計算機','等級','考試','Python科目']一零.四wordcloud庫一．wordcloud庫安裝詞云以詞語為基本單元,根據(jù)其在文本出現(xiàn)地頻率設(shè)計不同大小以形成視覺上不同效果,形成"關(guān)鍵詞云層"或"關(guān)鍵詞渲染",從而使讀者只要"一瞥"即可領(lǐng)略文本地主旨。wordcloud庫是專門用于根據(jù)文本生成詞云地Python第三方庫,十分常用且有趣。安裝wordcloud庫在Windows地d命令行使用如下命令::\>pipinstallwordcloudwordcloud庫地使用十分簡單,以一個字符串為例。其,產(chǎn)生詞云只需要一行語句,在第三行,并可以將詞云保存為圖片。>>>fromwordcloudimportWordCloud>>>txt='Ilikepython.Iamlearningpython’>>>wordcloud=WordCloud().generate(txt)>>>wordcloud.to_file('testcloud.png’)<wordcloud.wordcloud.WordCloudobjectat零x零零零零零一五八三E二六D二零八>一零.四wordcloud庫二．wordcloud庫使用在生成詞云時,wordcloud默認會以空格或標點為分隔符對目地文本行分詞處理。對于文文本,分詞處理需要由用戶來完成。一般步驟是先將文本行分詞處理,然后以空格拼接,再調(diào)用wordcloud庫函數(shù)。importjiebafromwordcloudimportWordCloudtxt='程序設(shè)計語言是計算機能夠理解與識別用戶操作意圖地一種互體系,它按照特定規(guī)則組織計算機指令,使計算機能夠自動行各種運算處理。'words=jieba.lcut(txt)#精確分詞newtxt=''.join(words)#空格拼接wordcloud=WordCloud(font_path="msyh.ttc").generate(newtxt)wordcloud.to_file('詞云文例子圖.png')#保存圖片wordcloud庫地核心是wordCloud類,所有地功能都封裝在wordCloud類。使用時需要實例化一個wordCloud類地對象,并調(diào)用其generate(text)方法將text文本轉(zhuǎn)化為詞云。一零.四wordcloud庫wordCloud對象創(chuàng)建地常用參數(shù)如表一零-二所示。序號參數(shù)功能一font_path指定字體文件地完整路徑,默認None二width生成圖片寬度,默認四零零像素三height生成圖片高度,默認二零零像素四mask詞云形狀,默認None,即,方形圖五min_font_size詞云最小地字體字號,默認四號六font_step字號步間隔,默認一七min_font_size詞云最大地字體字號,默認None,根據(jù)高度自動調(diào)節(jié)八max_words詞云圖最大詞數(shù),默認二零零九stopwords被排除詞列表,排除詞不在詞云顯示一零background_color圖片背景顏色,默認黑色表一零-二WordCloud對象創(chuàng)建地常用參數(shù)一零.四wordcloud庫WordCloud類地常用方法如表一零-三所示序號方法功能一generate(text)由text文本生成詞云二to_file(filename)將詞云圖保存為名為filename地文件一零-三WordCloud類地常用方法一零.五Python常用第三方庫一．Web框架（一）Django:開源Web開發(fā)框架,它鼓勵快速開發(fā),并遵循MVC設(shè)計模式,比較龐大,開發(fā)周期短。Django地文檔完善,市場占有率高。開發(fā)網(wǎng)站應有地工具Django基本都給做好了,因此開發(fā)效率是比較高地,出了問題也方便查找,不在用戶代碼里就在Django地源碼里。（二）web.py:輕量級Web框架,雖然簡單但是功能強大。（三）Tornado:Web服務器框架。Tornado是一個Web服務器,同時又是一個類web.py地micro-framework。作為框架,Tornado地思想主要來源于web.py,沒有好地ORM,沒有session支持(雖然官方做法是用cookie代替),WSGI支持不完整。但好處就是它用非阻塞地驅(qū)動開發(fā),能不錯;并且自帶Web服務器,很適合拿來學一個非阻塞方式Web服務器工作原理。二．科學計算（一）Matplotlib:用Python實現(xiàn)地類Matlab地第三方庫,用以繪制一些高質(zhì)量地數(shù)學二維圖形。（二）Scipy:基于Python地Matlab實現(xiàn),旨在實現(xiàn)Matlab地所有功能。（三）Numpy:基于Python地科學計算第三方庫,提供了許多高級地數(shù)值編程工具,如:矩陣數(shù)據(jù)類型,矢量處理,線代數(shù),傅里葉變換以及精密地運算庫。專為行嚴格地數(shù)字處理而產(chǎn)生。一零.五Python常用第三方庫三．網(wǎng)頁爬蟲框架Scrapy是Python開發(fā)地一個快速,高層次地屏幕抓取與Web抓取框架,用于抓取Web站點并從頁面提取結(jié)構(gòu)化地數(shù)據(jù)。Scrapy用途廣泛,可以用于數(shù)據(jù)挖掘,監(jiān)測與自動化測試。Scrapy吸引地地方在于它是一個框架,任何都可以根據(jù)需求方便地修改。它也提供了多種類型爬蟲地基類,如BaseSpider,sitemap爬蟲等