《數(shù)據采集技術》課件-批量采集圖片數(shù)據

批量采集圖片數(shù)據Contents知識目標技能目標素養(yǎng)目標掌握open()、write()和close()函數(shù)的使用提高批量采集圖片數(shù)據能力培養(yǎng)良好的信息素養(yǎng)和道德意識圖片與文本的區(qū)別文本圖片通常是二進制數(shù)據圖片與文本的區(qū)別圖片是文件的一種表現(xiàn)形式文本在傳輸?shù)臅r候通過字符編碼將字符轉換為二進制數(shù)據進行傳輸。文件以字符作為基礎文本文件通常情況下比文本更大，文件傳輸需要更長的時間和更大的帶寬。采集圖片數(shù)據，最關鍵的點在于找到這個文件的地址。批量采集圖片數(shù)據分為以下五個步驟打開開發(fā)者工具，查看頁面結構批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據保存圖片提取圖片的url獲取網站源代碼分為以下五個步驟打開開發(fā)者工具，查看頁面結構批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據保存圖片提取圖片的url獲取網站源代碼批量采集圖片數(shù)據獲取網站源代碼批量采集圖片數(shù)據獲取網站源代碼urlheadersparams要訪問的網頁的URL包含HTTP請求頭，用于模擬瀏覽器請求用于傳遞請求參數(shù)批量采集圖片數(shù)據獲取網站源代碼獲取目標網站的源代碼response批量采集圖片數(shù)據獲取網站源代碼防止出現(xiàn)亂碼批量采集圖片數(shù)據獲取網站源代碼http響應內容的字符串形式分為以下五個步驟打開開發(fā)者工具，查看頁面結構批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據保存圖片提取圖片的url獲取網站源代碼分為以下五個步驟打開開發(fā)者工具，查看頁面結構批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據保存圖片提取圖片的url獲取網站源代碼批量采集圖片數(shù)據打開開發(fā)者工具，查看頁面結構右鍵檢查批量采集圖片數(shù)據打開開發(fā)者工具，查看頁面結構url地址是圖片地址嗎批量采集圖片數(shù)據提取圖片的url批量采集圖片數(shù)據提取圖片的url網頁的源代碼批量采集圖片數(shù)據提取圖片的url可以從幾種解析技術中選擇一種來解析圖片urlparse_page函數(shù)批量采集圖片數(shù)據提取圖片的url將字符串轉變成為HTML文檔按照xpath路徑表達式提取img標簽的data-imgurl屬性批量采集圖片數(shù)據提取圖片的url頁面中所有圖片的URL地址批量采集圖片數(shù)據提取圖片的url返回值批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據表示圖片地址批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據獲取響應內容responseresponse.content沒有經過任何解碼的bytes類型批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據response.content沒有經過任何解碼的bytes類型返回值批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據response.contentresponse.text沒有經過任何解碼的bytes類型將response.content進行解碼的字符串分為以下五個步驟打開開發(fā)者工具，查看頁面結構批量采集圖片數(shù)據請求圖片字節(jié)數(shù)據保存圖片提取圖片的url獲取網站源代碼把字節(jié)數(shù)據寫入到本地文件批量采集圖片數(shù)據保存圖片open()write()close()保存文件open()函數(shù)用于打開一個文件，并返回文件對象批量采集圖片數(shù)據保存圖片open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)文件名模式常用的模式：w打開一個文件只用于寫入文件已存在則打開文件，并從開頭開始編輯原有內容會被刪除文件不存在創(chuàng)建新文件批量采集圖片數(shù)據保存圖片open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)常用的模式：w打開一個文件只用于寫入b二進制模式（wb：以二進制格式打開一個文件只用于寫入）a打開一個文件用于追加文件指針將會放在文件的結尾批量采集圖片數(shù)據保存圖片open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)常用的模式：w打開一個文件只用于寫入b二進制模式（wb：以二進制格式打開一個文件只用于寫入）a打開一個文件用于追加r以只讀方式打開文件文件的指針將會放在文件的開頭批量采集圖片數(shù)據保存圖片fileObject.write(str)fileObject.write(bytes)write()用于向文件中寫入數(shù)據寫入字符串寫入字節(jié)流（保存圖片）批量采集圖片數(shù)據保存圖片fileObject.write(str)fileObject.write(bytes)write()用于向文件中寫入數(shù)據寫入字符串寫入字節(jié)流（保存圖片）批量采集圖片數(shù)據保存圖片fileObject.close()close()用于關閉一個已打開的文件關閉后的文件不能再進行讀寫操作需要注意使用open()函數(shù)打開文件后，一定要調用close()關閉文件對象。批量采集圖片數(shù)據保存圖片批量采集圖片數(shù)據保存圖片批量采集圖片數(shù)據保存圖片批量采集圖片數(shù)據保存圖片批量采集圖片數(shù)據保存圖片剛獲取到的圖片的字節(jié)數(shù)據批量采集圖片數(shù)據保存圖片要保存成的圖片名稱以二進制格式打開一個文件只用于寫