Python數(shù)據(jù)格式化與處理技術(shù)探索

Python數(shù)據(jù)格式化與處理技術(shù)探索匯報人：XX2024-01-11Python數(shù)據(jù)格式化基礎(chǔ)文件讀寫與數(shù)據(jù)持久化數(shù)據(jù)庫交互與數(shù)據(jù)存儲網(wǎng)絡(luò)請求與數(shù)據(jù)獲取數(shù)據(jù)清洗與預(yù)處理技術(shù)數(shù)據(jù)可視化與報表生成技術(shù)Python數(shù)據(jù)格式化基礎(chǔ)01Python中的數(shù)據(jù)類型包括整數(shù)、浮點數(shù)、復(fù)數(shù)、布爾值、字符串、列表、元組、字典和集合等。Python中的變量不需要聲明，可以直接賦值。變量名可以包含字母、數(shù)字和下劃線，但不能以數(shù)字開頭。數(shù)據(jù)類型與變量變量數(shù)據(jù)類型str.format()方法使用`str.format()`方法進(jìn)行字符串格式化，例如`"Hello,{}!".format(name)`。f-string格式化使用f-string進(jìn)行字符串格式化，例如`f"Hello,{name}!"`。%格式化使用`%`操作符和格式化字符串進(jìn)行字符串格式化，例如`"Hello,%s!"%name`。字符串格式化方法format()方法使用`format()`方法進(jìn)行數(shù)值格式化，例如`"{:.2f}".format(price)`表示保留兩位小數(shù)。round()函數(shù)使用`round()`函數(shù)進(jìn)行數(shù)值四舍五入，例如`round(price,2)`表示保留兩位小數(shù)。數(shù)值格式化方法使用`datetime`模塊中的`datetime`類進(jìn)行時間日期格式化，例如`datetime.now().strftime("%Y-%m-%d%H:%M:%S")`表示將當(dāng)前時間格式化為年-月-日時:分:秒的字符串形式。datetime模塊使用`time`模塊中的`strftime()`函數(shù)進(jìn)行時間日期格式化，例如`time.strftime("%Y-%m-%d%H:%M:%S",time.localtime())`表示將當(dāng)前時間格式化為年-月-日時:分:秒的字符串形式。time模塊時間日期格式化方法文件讀寫與數(shù)據(jù)持久化02使用`open()`函數(shù)打開文件，并指定文件名和打開模式（如讀取模式'r'、寫入模式'w'、追加模式'a'等）。打開文件使用`read()`、`readline()`或`readlines()`方法讀取文件內(nèi)容。讀取文件使用`write()`方法向文件中寫入內(nèi)容。寫入文件使用`close()`方法關(guān)閉文件。關(guān)閉文件文件基本操作與讀寫模式寫入CSV文件使用`csv`模塊中的`writer()`函數(shù)向CSV文件中寫入數(shù)據(jù)，需要指定文件名和打開模式為寫入模式。CSV文件數(shù)據(jù)處理可以使用Python中的列表和字典等數(shù)據(jù)結(jié)構(gòu)對讀取的CSV數(shù)據(jù)進(jìn)行處理和分析。讀取CSV文件使用`csv`模塊中的`reader()`函數(shù)讀取CSV文件內(nèi)容，每行數(shù)據(jù)以列表形式返回。CSV文件讀寫與數(shù)據(jù)處理123使用`json`模塊中的`load()`函數(shù)讀取JSON文件內(nèi)容，并解析為Python對象（如列表或字典）。讀取JSON文件使用`json`模塊中的`dump()`函數(shù)將Python對象轉(zhuǎn)換為JSON格式，并寫入到文件中。寫入JSON文件可以使用Python中的列表和字典等數(shù)據(jù)結(jié)構(gòu)對解析后的JSON數(shù)據(jù)進(jìn)行處理和分析。JSON數(shù)據(jù)處理JSON文件讀寫與數(shù)據(jù)處理使用`pandas`庫中的`read_excel()`函數(shù)讀取Excel文件內(nèi)容，并轉(zhuǎn)換為DataFrame對象。讀取Excel文件使用`pandas`庫中的`to_excel()`方法將DataFrame對象轉(zhuǎn)換為Excel格式，并寫入到文件中。寫入Excel文件可以使用`pandas`庫提供的各種數(shù)據(jù)處理和分析方法對讀取的Excel數(shù)據(jù)進(jìn)行處理和分析，如數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)統(tǒng)計等。Excel數(shù)據(jù)處理Excel文件讀寫與數(shù)據(jù)處理數(shù)據(jù)庫交互與數(shù)據(jù)存儲03關(guān)系型數(shù)據(jù)庫概述關(guān)系型數(shù)據(jù)庫是一種基于關(guān)系模型的數(shù)據(jù)庫，它通過表格的形式存儲數(shù)據(jù)，表格之間通過鍵進(jìn)行關(guān)聯(lián)。常見的關(guān)系型數(shù)據(jù)庫MySQL、Oracle、SQLServer、PostgreSQL等。連接方式在Python中，可以使用`pymysql`、`psycopg2`等庫來連接關(guān)系型數(shù)據(jù)庫。連接過程需要提供數(shù)據(jù)庫的地址、端口、用戶名、密碼等信息。關(guān)系型數(shù)據(jù)庫簡介及連接方式SQL語句簡介SQL語句執(zhí)行結(jié)果獲取SQL語句執(zhí)行及結(jié)果獲取SQL（StructuredQueryLanguage）是用于管理關(guān)系型數(shù)據(jù)庫的標(biāo)準(zhǔn)語言，包括數(shù)據(jù)查詢、數(shù)據(jù)更新、數(shù)據(jù)定義和數(shù)據(jù)控制等功能。在Python中，可以使用連接對象的`cursor()`方法獲取游標(biāo)對象，然后通過游標(biāo)對象執(zhí)行SQL語句。執(zhí)行查詢語句后，可以使用游標(biāo)對象的`fetchall()`、`fetchone()`等方法獲取查詢結(jié)果。ORM框架概述01ORM（Object-RelationalMapping）框架是一種將對象與數(shù)據(jù)庫中的表進(jìn)行映射的技術(shù)，它使得開發(fā)者可以使用面向?qū)ο蟮姆绞絹聿僮鲾?shù)據(jù)庫。常見的ORM框架02DjangoORM、SQLAlchemy、Peewee等。使用示例03以DjangoORM為例，可以定義模型類來表示數(shù)據(jù)庫中的表，然后通過模型類的方法進(jìn)行數(shù)據(jù)的增刪改查操作。ORM框架介紹及使用示例非關(guān)系型數(shù)據(jù)庫概述非關(guān)系型數(shù)據(jù)庫是一種不基于關(guān)系模型的數(shù)據(jù)庫，它以鍵值對、文檔、列存儲等形式存儲數(shù)據(jù)，具有靈活性和可擴(kuò)展性。常見的非關(guān)系型數(shù)據(jù)庫MongoDB、Redis、Cassandra等。操作示例以MongoDB為例，可以使用`pymongo`庫來連接MongoDB數(shù)據(jù)庫，然后通過連接對象的`db`和`collection`屬性來訪問數(shù)據(jù)庫和集合，最后使用集合對象的方法進(jìn)行數(shù)據(jù)的增刪改查操作。非關(guān)系型數(shù)據(jù)庫簡介及操作示例網(wǎng)絡(luò)請求與數(shù)據(jù)獲取04請求頭HTTP請求中的頭部信息，包括請求的類型、客戶端和服務(wù)器信息、內(nèi)容類型等。HTTP協(xié)議超文本傳輸協(xié)議，用于從WWW服務(wù)器傳輸超文本到本地瀏覽器的傳送協(xié)議。請求方法HTTP/1.1協(xié)議中共定義了八種方法（也叫“動作”）來以不同方式操作指定的資源，包括GET、POST、PUT、DELETE、HEAD、OPTIONS、TRACE、CONNECT。請求URL統(tǒng)一資源定位符，標(biāo)識了一個互聯(lián)網(wǎng)資源的名稱和地址。HTTP協(xié)議基礎(chǔ)及請求方法01requests庫Python的一個HTTP客戶端庫，用于發(fā)送HTTP請求和處理響應(yīng)。02安裝方法使用pip安裝，命令為`pipinstallrequests`。03發(fā)送GET請求response=requests.get(url)04發(fā)送POST請求response=requests.post(url,data=data)05添加請求頭response=requests.get(url,headers=headers)06處理響應(yīng)內(nèi)容response.text或response.json()requests庫介紹及使用示例BeautifulSoup庫查找標(biāo)簽查找特定屬性的標(biāo)簽提取標(biāo)簽內(nèi)容解析HTML文檔安裝方法Python的一個庫，用于從HTML和XML文件中提取數(shù)據(jù)。使用pip安裝，命令為`pipinstallbeautifulsoup4`。soup=BeautifulSoup(html_doc,'html.parser')tags=soup.find_all('tag_name')tags=soup.find_all('tag_name',attr='value')text=tag.get_text()BeautifulSoup庫介紹及使用示例Scrapy框架創(chuàng)建爬蟲定義爬蟲的起始URL和爬取規(guī)則運(yùn)行爬蟲創(chuàng)建Scrapy項目安裝方法Python的一個快速高級的屏幕抓取和web抓取框架，用于抓取web站點并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)。使用pip安裝，命令為`pipinstallscrapy`。scrapystartprojectproject_name在項目的spiders目錄下創(chuàng)建一個Python文件，定義爬蟲類并繼承自scrapy.Spider。在爬蟲類中定義`start_urls`屬性和`parse`方法，用于處理從起始URL獲取的響應(yīng)并提取數(shù)據(jù)或跟蹤鏈接。在命令行中使用`scrapycrawlspider_name`命令啟動爬蟲。Scrapy框架介紹及使用示例數(shù)據(jù)清洗與預(yù)處理技術(shù)05適用于缺失比例較小或缺失值對整體數(shù)據(jù)分析影響不大的情況。刪除缺失值使用均值、中位數(shù)、眾數(shù)等統(tǒng)計量進(jìn)行填充，或使用插值、回歸等方法預(yù)測缺失值。填充缺失值將缺失值替換為特殊標(biāo)記，如NaN或None，在后續(xù)分析中單獨處理。使用特殊標(biāo)記缺失值處理策略及實現(xiàn)方法基于統(tǒng)計方法使用Z-score、IQR等統(tǒng)計方法檢測異常值，并進(jìn)行刪除、替換或保留處理?；诰垲惙椒ㄍㄟ^聚類分析識別異常值，將異常值歸入單獨的簇或刪除?；跈C(jī)器學(xué)習(xí)方法構(gòu)建異常檢測模型，如孤立森林、支持向量機(jī)等，對異常值進(jìn)行自動識別和處理。異常值檢測和處理策略及實現(xiàn)方法03合并重復(fù)值對重復(fù)值進(jìn)行合并，如計算重復(fù)值的均值、最大值、最小值等統(tǒng)計量。01刪除重復(fù)值直接刪除數(shù)據(jù)集中的重復(fù)行或記錄。02保留唯一值僅保留數(shù)據(jù)集中的唯一值，刪除其他重復(fù)值。重復(fù)值處理策略及實現(xiàn)方法數(shù)據(jù)轉(zhuǎn)換和歸一化策略及實現(xiàn)方法將數(shù)據(jù)從一種形式轉(zhuǎn)換為另一種形式，如對數(shù)轉(zhuǎn)換、Box-Cox轉(zhuǎn)換等，以滿足分析需求。數(shù)據(jù)歸一化將數(shù)據(jù)縮放到特定范圍，如[0,1]或[-1,1]，以消除量綱影響，常用的歸一化方法有最小-最大歸一化、Z-score歸一化等。數(shù)據(jù)標(biāo)準(zhǔn)化將數(shù)據(jù)轉(zhuǎn)換為均值為0，標(biāo)準(zhǔn)差為1的分布，以消除量綱和分布差異的影響。常用的標(biāo)準(zhǔn)化方法有Z-score標(biāo)準(zhǔn)化、小數(shù)定標(biāo)標(biāo)準(zhǔn)化等。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)可視化與報表生成技術(shù)06matplotlib是Python中最常用的數(shù)據(jù)可視化庫之一，提供了豐富的繪圖函數(shù)和工具，可以繪制線圖、散點圖、柱狀圖、餅圖等多種圖形。matplotlib概述通過matplotlib庫，可以輕松地繪制出各種數(shù)據(jù)可視化圖形。例如，可以使用pyplot模塊中的plot函數(shù)繪制線圖，使用scatter函數(shù)繪制散點圖，使用bar函數(shù)繪制柱狀圖等。使用示例matplotlib庫介紹及使用示例seaborn概述seaborn是基于matplotlib的數(shù)據(jù)可視化庫，提供了更加美觀和高級的繪圖風(fēng)格。它支持繪制各種統(tǒng)計圖形，如分布圖、箱線圖、熱力圖等。使用示例使用seaborn庫可以輕松地創(chuàng)建出高質(zhì)量的統(tǒng)計圖形。例如，可以使用distplot函數(shù)繪制分布圖，使用boxplot函數(shù)繪制箱線圖，使用heatmap函數(shù)繪制熱力圖等。seaborn庫介紹及使用示例pandas概述pandas是Python中常用的數(shù)據(jù)處理庫，提供了強(qiáng)大的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具。它也支持?jǐn)?shù)據(jù)可視化功能，可以方便地將數(shù)據(jù)轉(zhuǎn)換為圖形展示。使用示例pandas庫中的DataFrame和Series對象都提供了繪圖方法，可以直接調(diào)用進(jìn)行可視化。例如，可以使用plot方法繪制折線圖、柱狀圖等，使用hist方法繪制直方圖等。pandas庫在數(shù)據(jù)可視化中的