ETL數(shù)據(jù)整合與處理(Kettle)第八章-無人售貨機零售項目實戰(zhàn)

無人售貨機零售項目實戰(zhàn)（1）1分組聚合客戶訂單目錄了解無人售貨機項目背景與目標2計算各商品銷售金額3無人售貨機是一種根據(jù)掃碼支付（或投入錢幣）而自動付貨的機器，是商業(yè)自動化的常用設備，無人售貨機不受時間、地點的限制，能節(jié)省人力、方便交易，是一種全新的商業(yè)零售方式，又被稱為24小時營業(yè)的微型超市。無人售貨機每天為客戶提供便利的商品零售服務，同時也產(chǎn)生了大量的商品零售數(shù)據(jù)。本章主要介紹如何通過Kettle實現(xiàn)無人售貨機項目。背景國內(nèi)的無人售貨機市場處于發(fā)展的初期階段，沒有達到規(guī)?；?、秩序化的程度。一方面無人售貨機多分布在經(jīng)濟發(fā)達的沿海地區(qū)；另一方面無人售貨機販賣的商品種類有限，不能滿足用戶的所有需求。為了最大化利用無人售貨機資源，需要從業(yè)務場景出發(fā)，理解數(shù)據(jù)，分析并制定無人售貨機項目的目標。任務描述（1）了解無人售貨機的發(fā)展現(xiàn)狀與發(fā)展趨勢。（2）熟悉理解現(xiàn)有的無人售貨機數(shù)據(jù)。（3）明確無人售貨機項目的目標。任務分析據(jù)統(tǒng)計，國內(nèi)無人售貨機數(shù)量在2016年約有19萬臺，銷售額達75億人民幣，與上一年相比，漲幅飛速。據(jù)消費者調(diào)研機構凱度的預測，我國在2020年，將會擁有110萬臺無人售貨機，銷售額可達440億人民幣。隨著無人售貨機的銷售系統(tǒng)越來越完善，包括支付系統(tǒng)、監(jiān)控維護系統(tǒng)等技術都趨于成熟，正確的銷售決策的制定開始成為售貨機廠商關注的熱點。傳統(tǒng)的銷售決策都是商家憑借積累的長期經(jīng)驗進行決定，而商品的銷售受很多因素的影響，如季節(jié)、周邊人流量以及受眾群體的偏好等，因此無人售貨機上的商品供求往往得不到合理的平衡，無人售貨機的收益達不到最大化。了解項目背景為了解決無人售貨機收益無法達到最大化的問題，需要分析客戶每天的訂單列表、訂單詳情和無人售貨機等數(shù)據(jù)，獲得有關熱銷和滯銷商品信息，以及無人售貨機的收入和利潤信息。按照這一目標，整體項目可以分為以下4個任務。分組聚合客戶訂單計算各商品銷售金額統(tǒng)計各售貨機日銷售金額整理各售貨機情況熟悉項目目標目前售貨機數(shù)據(jù)主要包括訂單信息表、訂單詳情表和售貨機信息表3個表的數(shù)據(jù)。1.訂單信息表在無人售貨機客戶訂單信息表“order_list.csv”文件中，有關數(shù)據(jù)字段的說明如表所示。熟悉數(shù)據(jù)字段字段名稱類型描述createdtime字符串表示訂單生成時間customerid字符串表示客戶IDcustomermobile字符串表示客戶手機號碼totalprice浮點數(shù)表示訂單總金額paytotalprice浮點數(shù)表示訂單實際支付金額discounttotalprice浮點數(shù)表示訂單優(yōu)惠金額status字符串表示訂單狀態(tài)。取值如下WAIT：待支付SUCCESS：支付成功FAIL：支付失敗source字符串表示訂單來源。取值如下ALIPAY_SHOPPING：支付寶支付WECHAT_SHOPPING：第三方開門購物PARTNER_SHOPPING：微信支付熟悉數(shù)據(jù)字段字段名稱類型描述ordertype字符串表示生成訂單類型。取值如下SHOPPING：購物訂單INIT：初始化訂單partnerorderpaymethod字符串表示支付方式。取值如下PARTNER：第三方系統(tǒng)MAYIHEZI：螞蟻盒子系統(tǒng)payexceptiontype字符串表示請查看訂單異常菜單列表boxid長整數(shù)表示售貨機IDpayedtime字符串表示支付時間title字符串表示標題ordernum長整數(shù)表示訂單號partnerordernum字符串表示第三方訂單號唯一標識discountdescription字符串表示優(yōu)惠說明externalordernum字符串表示支付寶/微信訂單號2.訂單詳情表在無人售貨機客戶訂單詳情“order_details.csv”文件中，有關數(shù)據(jù)字段說明如表所示。熟悉數(shù)據(jù)字段字段名稱類型描述createdtime字符串表示訂單生成時間customerid字符串表示客戶IDcustomermobile字符串表示客戶手機號碼totalprice浮點數(shù)表示訂單總金額paytotalprice浮點數(shù)表示訂單實際支付金額discounttotalprice浮點數(shù)表示訂單優(yōu)惠金額status字符串表示訂單狀態(tài)。取值如下WAIT：待支付SUCCESS：支付成功FAIL：支付失敗source字符串表示訂單來源。取值如下ALIPAY_SHOPPING：支付寶支付WECHAT_SHOPPING：第三方開門購物PARTNER_SHOPPING：微信支付boxid長整數(shù)表示售貨機IDordernum長整數(shù)表示訂單號partnerordernum字符串表示第三方訂單號唯一標識字段名稱類型描述discountdescription字符串表示優(yōu)惠說明partnerorderpaymethod字符串表示支付方式。取值如下PARTNER：第三方系統(tǒng)MAYIHEZI：螞蟻盒子系統(tǒng)payexceptiontype字符串表示請查看訂單異常菜單列表paytime字符串表示支付時間title字符串表示標題ordertype字符串表示生成訂單類型。取值如下SHOPPING：購物訂單INIT：初始化訂單externalordernum字符串表示支付寶/微信訂單號productname字符串表示商品名稱amount整數(shù)表示購買商品數(shù)量costprice浮點數(shù)表示商品成本價saleprice浮點數(shù)表示商品銷售價productpaytotalprice浮點數(shù)表示商品實際支付總金額productdiscountprice浮點數(shù)表示商品優(yōu)惠金額producttotalprice浮點數(shù)表示商品支付總金額partnerproductid字符串表示第三方產(chǎn)品唯一標識rfidstatus字符串表示標簽狀態(tài)。取值如下COMMON：正常SOLD：已售INVALID：無效標簽熟悉數(shù)據(jù)字段3.售貨機信息表在無人售貨機信息“box_list.csv”文件中，有關數(shù)據(jù)字段的說明如表所示。熟悉數(shù)據(jù)字段字段名稱類型描述boxid長整數(shù)表示售貨機IDaddress字符串表示售貨機投放地址name字符串表示售貨機名稱qrcode字符串表示售貨機二維碼serialnumber字符串表示售貨機編碼status字符串表示售貨機狀態(tài)。取值如下ONLINE：在線OFFLINE：離線BREAKDOWN：故障modelnumber字符串表示售貨機型號1分組聚合客戶訂單目錄了解無人售貨機項目背景與目標2計算各商品銷售金額3無人售貨機客戶訂單信息表記錄著有關客戶的訂單信息。從客戶的角度出發(fā)，分析客戶訂單信息表中的數(shù)據(jù)，了解客戶訂單狀況，按照客戶訂單數(shù)據(jù)進行聚合計算，對客戶訂單消費金額從高到低進行排序，了解哪些客戶的消費金額較多，并為這些客戶提供更好的服務。任務描述（1）建立【分組聚合客戶訂單】轉換工程。（2）獲取客戶的詳細訂單數(shù)據(jù)。（3）分組聚合統(tǒng)計客戶的訂單數(shù)據(jù)。（4）裝載和解讀結果數(shù)據(jù)。任務分析聚合客戶訂單數(shù)據(jù)，需要在訂單信息表“order_list.csv”文件中抽取以下字段數(shù)據(jù)。（1）customerid（客戶ID）：客戶的唯一標識號，以該標識號聚合數(shù)據(jù)，因此客戶ID不能為空，否則客戶ID為空的數(shù)據(jù)將被過濾掉。（2）customermobile（客戶手機號碼）：客戶支付費用時所使用的手機號碼。（3）ordernum（訂單號）：客戶購買商品時生成的訂單號。（4）paytotalprice（訂單實際支付金額）：客戶訂單實際支付金額。（5）status（訂單狀態(tài)）：客戶訂單狀態(tài)，只需抽取訂單狀態(tài)為“支付成功”的數(shù)據(jù)，而其他訂單狀態(tài)的數(shù)據(jù)將被過濾掉。分析任務數(shù)據(jù)需求在聚合客戶訂單的過程中，需要獲取唯一標識用戶的關鍵字段，再根據(jù)此關鍵字段進行聚合統(tǒng)計。分組聚合客戶訂單的流程如圖所示。熟悉任務流程分組聚合客戶訂單主要包括以下4個步驟。（1）獲取訂單數(shù)據(jù)。建立轉換工程，創(chuàng)建獲取文件組件，獲取訂單數(shù)據(jù)。（2）過濾和抽取數(shù)據(jù)。首先過濾掉客戶ID為空和支付不成功的數(shù)據(jù)，然后抽取聚合統(tǒng)計所需的字段數(shù)據(jù)。（3）聚合統(tǒng)計。對抽取后的數(shù)據(jù)根據(jù)客戶ID進行排序，然后聚合統(tǒng)計客戶的消費金額。（4）裝載和解讀聚合客戶訂單數(shù)據(jù)。對于聚合統(tǒng)計好的客戶訂單數(shù)據(jù)，按照客戶消費金額，從高到低進行排序，再將排序后的數(shù)據(jù)裝載至Excel文件中，并對結果數(shù)據(jù)進行解讀。熟悉任務流程實現(xiàn)分組聚合客戶訂單的詳細操作步驟如下。1.獲取訂單數(shù)據(jù)獲取訂單數(shù)據(jù)的操作步驟如下。（1）建立轉換工程。使用Ctrl+N快捷鍵，創(chuàng)建【分組聚合客戶訂單】轉換工程。（2）創(chuàng)建CSV文件輸入組件和獲取訂單數(shù)據(jù)。創(chuàng)建CSV文件輸入組件（組件命名為“CSV文件輸入(訂單)”），如圖所示。設置參數(shù)，導入“order_list.csv”文件，并設置好字段參數(shù)。實現(xiàn)聚合客戶訂單（3）預覽獲取的訂單數(shù)據(jù)。工作區(qū)上方的圖標，預覽數(shù)據(jù)，如圖所示，此時【預覽數(shù)據(jù)】對話框的數(shù)據(jù)是客戶在購買商品時，每天、每筆詳細的訂單數(shù)據(jù)。實現(xiàn)聚合客戶訂單2.過濾和抽取訂單數(shù)據(jù)對獲取的訂單數(shù)據(jù)進行過濾和抽取，操作步驟如下。（1）建立過濾和抽取數(shù)據(jù)組件和連接。創(chuàng)建過濾記錄組件（組件命名為“過濾記錄(客戶ID非空和支付成功)”）、字段選擇組件，用于篩選和抽取數(shù)據(jù)，并建立組件之間的連接，如圖所示。實現(xiàn)聚合客戶訂單（2）過濾掉客戶ID為空和支付不成功的訂單數(shù)據(jù)。在【過濾記錄(客戶ID非空和支付成功)】組件中，設置參數(shù)，過濾掉客戶ID為空和支付不成功的訂單數(shù)據(jù)。（3）進行字段選擇，保留需要的字段，去除多余的字段。在【字段選擇】組件中，設置參數(shù)，僅保留customerid、customermobile、ordernum和paytotalprice等字段，并分別改名為“客戶ID”“客戶手機號碼”“order_num”和“pay_totalprice”，如圖所示，丟棄其他與聚合客戶訂單無關的字段。實現(xiàn)聚合客戶訂單3.聚合統(tǒng)計對已進行過濾和抽取的訂單數(shù)據(jù)進行聚合統(tǒng)計，操作步驟如下。（1）建立聚合統(tǒng)計組件和連接。創(chuàng)建排序記錄組件和分組（命名為“分組(按客戶統(tǒng)計)”）組件，并建立組件之間的連接，如圖所示。實現(xiàn)聚合客戶訂單（2）對客戶ID進行排序。因為是分組聚合客戶訂單，所以必須對客戶ID進行排序，即同一個客戶ID的數(shù)據(jù)要連在一起，否則數(shù)據(jù)可能不正確。在【排序記錄】組件中，設置客戶ID字段按照升序進行排序。（3）對客戶的訂單數(shù)和商品實際支付金額等字段進行分組聚合，統(tǒng)計各個客戶的訂單。設置【分組】組件參數(shù)，在下圖所示的【分組】對話框的【構成分組的字段】表中，設置【分組字段】為“客戶ID”“客戶手機號碼”，即按照“客戶ID”“客戶手機號碼”統(tǒng)計客戶訂單；在【聚合】表中，設置的參數(shù)如圖所示。實現(xiàn)聚合客戶訂單3.裝載和解讀聚合客戶訂單數(shù)據(jù)裝載和解讀聚合客戶訂單數(shù)據(jù)，操作步驟如下。（1）建立裝載結果數(shù)據(jù)組件和連接。創(chuàng)建排序記錄組件（組件命名為“排序記錄(按客戶消費金額排序)”）和Excel輸出（組件命名為“Excel輸出(客戶訂單)”）組件，將聚合統(tǒng)計的各個客戶訂單數(shù)據(jù)輸出至Excel文件中，并建立組件之間的連接，如圖所示實現(xiàn)聚合客戶訂單（2）根據(jù)客戶訂單消費金額進行排序。在【排序記錄(按客戶銷售金額排序)】組件中，設置客戶消費金額字段按降序進行排序。（3）將經(jīng)過排序的各客戶訂單數(shù)據(jù)輸出并裝載至Excel文件中。在【Excel輸出(客戶訂單)】組件中，設置參數(shù)，輸出的Excel文件名為“無人售貨機分組聚合客戶訂單.xls”，輸出的字段參數(shù)設置如表所示。實現(xiàn)聚合客戶訂單名稱類型格式客戶IDString#客戶手機號碼String#客戶訂單數(shù)Integer0客戶消費金額Number0.00（4）預覽分組聚合客戶訂單結果數(shù)據(jù)。在【分組聚合客戶訂單】轉換工程中，單擊工作區(qū)上方的

圖標，預覽分組聚合客戶訂單的數(shù)據(jù)，如圖所示。實現(xiàn)聚合客戶訂單（5）解讀結果數(shù)據(jù)。在結果數(shù)據(jù)中，根據(jù)“客戶ID”“客戶手機號碼”關鍵字段，將“客戶訂單支付金額”“訂單數(shù)”字段的數(shù)據(jù)分組聚合統(tǒng)計至“客戶消費金額”“客戶訂單數(shù)”字段中，其中，“用戶ID”為“220759”的客戶消費金額最多，在無人售貨機上共成功下單175筆，客戶消費金額為880.6元。實現(xiàn)聚合客戶訂單1分組聚合客戶訂單目錄了解無人售貨機項目背景與目標2計算各商品銷售金額3無人售貨機客戶訂單的詳情數(shù)據(jù)，記錄著訂單中的每種商品銷售的數(shù)量、價格等數(shù)據(jù)。從商品銷售的角度出發(fā)，分析商品的銷售數(shù)據(jù)，計算各種商品的銷售金額，以便了解商品的銷售情況，分析哪些商品屬于熱銷或滯銷商品，為商品的銷售提供更好的運營決策。任務描述（1）建立【計算各商品銷售金額】轉換工程。（2）獲取和篩選數(shù)據(jù)。（3）分組聚合統(tǒng)計商品銷售數(shù)據(jù)。（4）裝載和解讀結果數(shù)據(jù)。任務分析計算各商品銷售金額，需要在訂單詳情表“order_details.csv”文件中抽取以下字段數(shù)據(jù)。（1）productname（商品名稱）：商品的唯一標識號，以該標識號為關鍵字段計算商品數(shù)據(jù)，因此商品名稱不能為空。（2）amount（購買商品數(shù)量）：客戶購買時的商品數(shù)量。（3）productpaytotalprice（商品實際支付總金額）：客戶購買商品時的實際支付總金額。（4）status（訂單狀態(tài)）：客戶訂單狀態(tài)，只抽取訂單狀態(tài)為“支付成功”的數(shù)據(jù)，其他訂單狀態(tài)的數(shù)據(jù)則被過濾掉。分析任務數(shù)據(jù)需求在計算各商品銷售金額的過程中，需要獲取商品名稱的關鍵字段，各個商品數(shù)據(jù)再根據(jù)此關鍵字段進行聚合計算。計算各商品銷售金額的流程如圖所示。熟悉任務流程計算各商品銷售金額主要包括以下4個步驟。（1）獲取訂單數(shù)據(jù)。建立轉換工程，創(chuàng)建獲取文件組件，獲取訂單詳情數(shù)據(jù)。（2）過濾和抽取數(shù)據(jù)。過濾掉商品名稱為空和支付不成功的數(shù)據(jù)，并抽取聚合統(tǒng)計所需的字段數(shù)據(jù)。（3）聚合統(tǒng)計。對抽取后的數(shù)據(jù)根據(jù)商品名稱進行排序，再聚合統(tǒng)計各商品的銷售金額。（4）裝載和解讀聚合各商品銷售金額數(shù)據(jù)。對聚合統(tǒng)計好的各商品銷售金額數(shù)據(jù)，根據(jù)商品銷售金額，從高到低進行排序，再將排序后的數(shù)據(jù)裝載至Excel文件中，并對結果數(shù)據(jù)進行解讀。熟悉任務流程實現(xiàn)計算各商品銷售金額的詳細操作步驟如下。獲取訂單詳情數(shù)據(jù)獲取訂單詳情數(shù)據(jù)的操作步驟如下。（1）創(chuàng)建計算各商品銷售金額轉換工程。使用Ctrl+N快捷鍵，創(chuàng)建【計算各商品銷售金額】轉換工程。（2）創(chuàng)建CSV文件輸入組件和獲取數(shù)據(jù)。創(chuàng)建CSV文件輸入組件，并命名為“CSV文件輸入(訂單)”，如圖所示。設置組件參數(shù)，導入“order_details.csv”文件，并設置好字段參數(shù)。實現(xiàn)各商品銷售金額計算（3）預覽獲取的數(shù)據(jù)。在【計算各商品銷售金額】轉換工程中，選擇【CSV文件輸入(訂單)】組件，單擊工作區(qū)上方的圖標，預覽數(shù)據(jù)，如圖所示。實現(xiàn)各商品銷售金額計算2.過濾和抽取訂單詳情數(shù)據(jù)獲取訂單詳情數(shù)據(jù)的操作步驟如下。（1）創(chuàng)建篩選數(shù)據(jù)組件和建立連接。創(chuàng)建過濾記錄組件（組件命名為“過濾記錄(商品名稱非空和支付成功)”）和字段選擇組件，并建立組件之間的連接，如圖所示。實現(xiàn)各商品銷售金額計算（2）過濾掉商品名稱為空和支付失敗的訂單數(shù)據(jù)。在【過濾記錄(商品名稱非空和支付成功)】組件中，設置參數(shù)，保留商品名稱非空和支付成功的訂單數(shù)據(jù)，過濾掉商品名稱為空和支付不成功的訂單數(shù)據(jù)。（3）進行字段選擇，保留需要的字段，去除多余的字段。在【字段選擇】組件中，設置參數(shù)，僅保留productname、amount、productpaytotalprice等字段，并分別改名為“商品名稱”“product_number”“product_paytotalprice”，如圖所示，丟棄其他與計算各商品銷售金額無關的字段。實現(xiàn)各商品銷售金額計算3.聚合統(tǒng)計對已進行過濾和抽取的商品詳情數(shù)據(jù)進行聚合統(tǒng)計，操作步驟如下。（1）建立聚合計算商品銷售金額的組件和連接。創(chuàng)建排序記錄組件、分組（命名為“分組(按商品名稱統(tǒng)計)”）組件，并建立組件之間的連接，如圖所示。實現(xiàn)各商品銷售金額計算（2）對商品名稱進行排序。因為需要計算各商品的銷售金額，所以必須對商品名稱進行排序，在【排序記錄】組件中，對商品名稱字段按照升序進行排序。（3）對購買商品數(shù)量和商品實際支付總金額等字段進行聚合計算，統(tǒng)計各個商品的銷售金額。在【分組(按商品名稱統(tǒng)計)】組件中，有關參數(shù)設置如圖所示。實現(xiàn)各商品銷售金額計算4.裝載和解讀計算各商品銷售金額數(shù)據(jù)裝載和解讀計算各商品銷售金額數(shù)據(jù)，操作步驟如下。（1）建立數(shù)據(jù)裝載組件和連接。創(chuàng)建排序記錄組件（組件命名為“排序記錄(按銷售金額排序)”）、Excel輸出（組件命名為“Excel輸出(各商品銷售金額)”）組件，將已進行聚合統(tǒng)計的各商品銷售金額數(shù)據(jù)輸出至Excel文件中，并建立組件之間的連接，如圖所示。實現(xiàn)各商品銷售金額計算（2）根據(jù)商品銷售金額進行排序。在【排序記錄(按銷售金額排序)】組件中，設置商品銷售金額字段按照降序排序。（3）將經(jīng)過排序的各商品銷售金額數(shù)據(jù)輸出并裝載至Excel文件中。在【Excel輸出(各商品銷售金額)】組件中，設置參數(shù)，輸出的Excel文件名為“無人售貨機各商品銷售金額.xls”，輸出的字段參數(shù)如表所示。實現(xiàn)各商品銷售金額計算名稱類型格式商品名稱String#商品銷售數(shù)量Integer0商品銷售金額Number0.00（4）預覽各商品銷售金額結果數(shù)據(jù)。在【計算各商品銷售金額】轉換工程中，選擇【Excel輸出(各商品銷售額)】組件，單擊工作區(qū)上方的圖標，預覽各商品銷售金額數(shù)據(jù)，如圖所示。實現(xiàn)各商品銷售金額計算（5）解讀結果數(shù)據(jù)。在結果數(shù)據(jù)中，根據(jù)“商品名稱”字段，對“商品實際支付總金額”“商品購買數(shù)量”字段數(shù)據(jù)，分組聚合統(tǒng)計到“商品銷售金額”“商品銷售數(shù)量”字段中，其中，“商品名稱”為“脈動”的商品銷售金額最多，在無人售貨機上共成功銷售2234件，商品銷售金額為8907.99元。實現(xiàn)各商品銷售金額計算無人售貨機零售項目實戰(zhàn)（2）1整理各售貨機銷售情況目錄統(tǒng)計各售貨機日銷售金額2小結3無人售貨機客戶訂單的詳情數(shù)據(jù)，每天都記錄著每個客戶下單購買的商品及其數(shù)量等詳細數(shù)據(jù)。從售貨機銷售的角度出發(fā)，分析售貨機的銷售數(shù)據(jù)，統(tǒng)計每臺售貨機每天的商品銷售金額，以便及時了解售貨機每天的銷售情況。任務描述（1）建立【統(tǒng)計各售貨機日銷售金額】轉換工程。（2）獲取售貨機訂單詳情數(shù)據(jù)。（3）分離日期和過濾篩選數(shù)據(jù)（4）聚合統(tǒng)計各售貨機日銷售金額。（5）裝載和解讀結果數(shù)據(jù)。任務分析統(tǒng)計各售貨機日銷售金額，需要在無人售貨機客戶訂單詳情“order_details.csv”文件中抽取以下字段數(shù)據(jù)。（1）boxid（售貨機ID）：售貨機的唯一標識號，以該標識號為關鍵字段來統(tǒng)計各售貨機的銷售金額數(shù)據(jù)，因此售貨機ID不能為空。（2）createdtime（訂單生成時間）：客戶下單時計算機自動生成的訂單時間。（3）productname（商品名稱）：客戶下單的商品名稱。（4）amount（購買商品數(shù)量）：客戶下單購買時的商品數(shù)量。（5）productpaytotalprice（商品實際支付總金額）：客戶購買商品時的實際支付總金額。（6）status（訂單狀態(tài)）：客戶訂單狀態(tài)，只抽取訂單狀態(tài)為“支付成功”的數(shù)據(jù)，其他訂單狀態(tài)的數(shù)據(jù)則被過濾掉。分析任務數(shù)據(jù)需求在統(tǒng)計各售貨機日銷售金額的過程中，需要獲取售貨機ID關鍵字段，根據(jù)訂單詳情數(shù)據(jù)，以售貨機ID為關鍵字段進行聚合統(tǒng)計。統(tǒng)計各售貨機日銷售金額的流程如圖所示。熟悉任務流程統(tǒng)計各售貨機日銷售金額主要包括以下4個步驟。熟悉任務流程（1）獲取訂單詳情數(shù)據(jù)。建立轉換工程，創(chuàng)建獲取文件組件，獲取訂單詳情數(shù)據(jù)。（2）過濾和抽取數(shù)據(jù)。首先過濾掉售貨機ID為空和支付不成功的數(shù)據(jù)，然后抽取聚合統(tǒng)計所需的字段數(shù)據(jù)，其中，對訂單生成時間字段，剪切出格式如“2020-05-20”的銷售日期字段。（3）聚合統(tǒng)計。對抽取后的數(shù)據(jù)根據(jù)售貨機ID和銷售日期進行排序，然后統(tǒng)計各售貨機的銷售金額。（4）裝載和解讀統(tǒng)計各售貨機日銷售金額數(shù)據(jù)。對聚合統(tǒng)計好的統(tǒng)計各售貨機的銷售金額數(shù)據(jù)，根據(jù)售貨機ID和銷售日期，按照降序進行排序，再將排序后的數(shù)據(jù)裝載至Excel文件中，并對結果數(shù)據(jù)進行解讀。計算各商品銷售金額的詳細操作步驟如下。1.獲取訂單詳情數(shù)據(jù)獲取訂單詳情數(shù)據(jù)的操作步驟如下。（1）創(chuàng)建統(tǒng)計各售貨機日銷售金額轉換工程。使用Ctrl+N快捷鍵，創(chuàng)建【統(tǒng)計各售貨機日銷售金額】轉換工程。實現(xiàn)各售貨機銷售金額統(tǒng)計（2）創(chuàng)建CSV文件輸入組件和獲取數(shù)據(jù)。創(chuàng)建CSV文件輸入組件，組件命名為【CSV文件輸入(訂單)】，如圖所示。設置組件參數(shù)，導入“order_details.csv”文件，并設置好字段參數(shù)，訂單生成時間createdtime字段的字段類型需要設置為String。（3）預覽獲取的數(shù)據(jù)。預覽訂單詳情數(shù)據(jù)參閱任務第2小節(jié)的介紹。實現(xiàn)各售貨機銷售金額統(tǒng)計2.過濾和抽取訂單詳情數(shù)據(jù)過濾和抽取訂單詳情數(shù)據(jù)的操作步驟如下。（1）創(chuàng)建篩選數(shù)據(jù)組件和連接。創(chuàng)建過濾記錄組件（組件命名為“過濾記錄(售貨機ID非空和支付成功)”）和字段選擇組件，并建立組件之間的連接，如圖所示。實現(xiàn)各售貨機銷售金額統(tǒng)計（2）過濾掉售貨機ID為空和支付失敗的訂單。在【過濾記錄(售貨機ID非空和支付成功)】組件中，設置參數(shù)，保留售貨機ID非空和支付成功的訂單，過濾掉售貨機ID為空和支付不成功的訂單。（3）進行字段選擇，保留需要的字段，去除多余的字段。在【字段選擇】組件中，設置參數(shù)，僅保留boxid、createdtime、amount和productpaytotalprice等字段，并分別改名為“售貨機ID”“created_time”“product_number”“product_paytotalprice”，如所示，丟棄其他與統(tǒng)計各售貨機日銷售金額無關的字段。實現(xiàn)各售貨機銷售金額統(tǒng)計3.剪切時間字段剪切時間字段的操作步驟如下。（1）建立剪切字符串組件和連接。創(chuàng)建【剪切字符串】組件，并建立連接，如圖所示。（2）從訂單生成時間字段中剪切出日期。在【剪切字符串】組件中，設置參數(shù)，剪切訂單生成時間字段，剪切出日期，并命名新字段名稱為“銷售日期”。實現(xiàn)各售貨機銷售金額統(tǒng)計4.聚合統(tǒng)計聚合統(tǒng)計的操作步驟如下。（1）建立聚合統(tǒng)計各售貨機銷售金額組件和連接。創(chuàng)建排序記錄組件、分組（命名為“分組(按售貨機ID和日期統(tǒng)計)”）組件，并建立組件之間的連接，如圖所示。實現(xiàn)各售貨機銷售金額統(tǒng)計（2）對售貨機ID進行排序。因為需要計算各售貨機的日銷售金額，所以必須對售貨機ID和銷售日期進行排序，在【排序記錄】組件中，對售貨機ID和銷售日期字段按照升序進行排序。（3）對售貨機的商品實際支付金額等字段進行分組聚合，統(tǒng)計各售貨機的日銷售金額。在【分組(按售貨機ID和日期統(tǒng)計)】組件中，有關參數(shù)設置如圖所示。實現(xiàn)各售貨機銷售金額統(tǒng)計5.裝載和解讀統(tǒng)計各售貨機日銷售金額數(shù)據(jù)裝載和解讀統(tǒng)計各售貨機日銷售金額數(shù)據(jù)的步驟如下。（1）建立數(shù)據(jù)裝載組件和連接。創(chuàng)建排序記錄組件（組件命名為“排序記錄(售貨機ID排序)”）、Excel輸出組件（組件命名為“Excel輸出(售貨機日銷售金額)”）組件，將聚合統(tǒng)計的各售貨機的日銷售金額輸出至Excel文件中，并建立組件之間的連接，如圖所示。實現(xiàn)各售貨機銷售金額統(tǒng)計（2）對售貨機ID和銷售日期進行排序。在【排序記錄(售貨機ID排序)】組件中，對售貨機ID和銷售日期字段按照降序進行排序。（3）將經(jīng)過排序的各售貨機日銷售金額數(shù)據(jù)輸出并裝載至Excel文件中。在【Excel輸出(售貨機日銷售金額)】組件中，設置參數(shù)，輸出的Excel文件名為“無人售貨機各售貨機日銷售金額.xls”，輸出的字段參數(shù)如表所示。實現(xiàn)各售貨機銷售金額統(tǒng)計名稱類型格式售貨機IDString#銷售日期String#商品銷售金額Number0.00（4）預覽各售貨機日銷售金額結果數(shù)據(jù)。在【統(tǒng)計各售貨機日銷售金額】轉換工程中，選擇【Excel輸出(售貨機日銷售金額)】組件，單擊工作區(qū)上方的

圖標，預覽各售貨機日銷售金額數(shù)據(jù)，如圖所示。（5）解讀結果數(shù)據(jù)。在結果數(shù)據(jù)中，根據(jù)“售貨機ID”和“銷售日期”字段，對“商品實際支付總金額”字段數(shù)據(jù)，分組聚合統(tǒng)計至“商品銷售金額”字段中，上圖中所示的預覽數(shù)據(jù)中，列出了“售貨機ID”為“73216297342”的售貨機每日的商品銷售金額。實現(xiàn)各售貨機銷售金額統(tǒng)計1整理各售貨機銷售情況目錄統(tǒng)計各售貨機日銷售金額2小結3客戶訂單的詳情數(shù)據(jù)，記錄著每天、不同客戶的每筆訂單的詳細數(shù)據(jù)，而無人售貨機信息表，記錄著每臺售貨機名稱、地址等重要信息。每一臺售貨機的利潤數(shù)據(jù)，是運營商非常關心的數(shù)據(jù)，從利潤的角度出發(fā)，分析整理售貨機銷售情況，統(tǒng)計每臺售貨機利潤、客單價（訂單的平均銷售價格）等重要數(shù)據(jù)，可以讓運營商更加了解售貨機的獲利情況。任務描述（1）建立【整理各售貨機情況】轉換工程。（2）獲取售貨機信息和訂單詳情數(shù)據(jù)。（3）過濾、關聯(lián)和篩選數(shù)據(jù)。（4）聚合計算每臺售貨機的利潤。（5）聚合計算每臺售貨機的客單價。（6）裝載和預覽結果數(shù)據(jù)。任務分析為統(tǒng)計各售貨機的利潤、客單價等，需要在訂單詳情“order_details.csv”文件中抽取以下字段數(shù)據(jù)。（1）boxid（售貨機ID）：是售貨機的唯一標識號，以該標識號為關鍵字段來統(tǒng)計各售貨機的銷售金額數(shù)據(jù)，因此不能為空。（2）ordernum（訂單號）：客戶下單時自動生成的號碼。（3）amount（購買商品數(shù)量）：客戶下單時的商品數(shù)量。（4）productpaytotalprice（商品實際支付總金額）：客戶下單時商品實際支付總金額。分析任務數(shù)據(jù)需求（5）costprice（商品的成本價）：客戶下單購買的商品成本價。（6）saleprice（商品的銷售價）：客戶下單購買的商品銷售價。（7）productpaytotalprice（商品實際支付總金額）：客戶下單購買的商品實際支付總金額。（8）producttotalprice（商品支付總金額）：客戶下單購買的商品支付總金額。（9）status（訂單狀態(tài)）：客戶訂單狀態(tài)，只抽取訂單狀態(tài)為“支付成功”的數(shù)據(jù)，其他訂單狀態(tài)的數(shù)據(jù)則被過濾掉。分析任務數(shù)據(jù)需求在售貨機信息表“box_list.csv”文件中抽取以下的字段數(shù)據(jù)。（1）boxid（售貨機ID）：作為關鍵字段，以便與“order_details.csv”文件的數(shù)據(jù)關聯(lián)，將無人售貨機的信息和客戶訂單詳情數(shù)據(jù)關聯(lián)起來。（2）name（名稱）：無人售貨機的名稱。（3）address（地址）：無人售貨機的投放地址。分析任務數(shù)據(jù)需求在整理各售貨機情況的過程中，需要獲取售貨機ID作為關鍵字段，關聯(lián)訂單詳情表數(shù)據(jù)和無人售貨機信息表數(shù)據(jù)，再以售貨機ID為關鍵字段進行聚合統(tǒng)計，計算售貨機的利潤和客單價。統(tǒng)計整理各售貨機銷售情況的流程如圖所示。熟悉任務流程統(tǒng)計整理各售貨機銷售情況主要包括以下5個步驟。（1）獲取訂單詳情數(shù)據(jù)。建立轉換工程，創(chuàng)建獲取文件組件，獲取訂單詳情數(shù)據(jù)。（2）過濾、關聯(lián)和抽取數(shù)據(jù)。首先過濾掉售貨機ID為空和支付不成功的數(shù)據(jù)，抽取聚合統(tǒng)計所需的字段數(shù)據(jù)，再以售貨機ID為關鍵字段，將客戶訂單詳情表數(shù)據(jù)與無人售貨機信息表的數(shù)據(jù)進行關聯(lián)，再抽取關聯(lián)后的字段數(shù)據(jù)。熟悉任務流程（3）統(tǒng)計利潤和裝載數(shù)據(jù)。抽取關聯(lián)后的訂單詳情與無人售貨機信息的字段數(shù)據(jù)，使用公式計算客戶訂單中的商品利潤，再根據(jù)售貨機ID進行排序，聚合統(tǒng)計各售貨機的利潤，并裝載至Excel文件中。（4）統(tǒng)計客單價和裝載數(shù)據(jù)。抽取關聯(lián)后的訂單詳情與無人售貨機信息的字段數(shù)據(jù)，根據(jù)售貨機ID進行排序，去除重復記錄，再次對售貨機ID進行排序，聚合統(tǒng)計各售貨機的訂單數(shù)和銷售金額，最后使用公式計算客單價，并裝載至Excel文件中。（5）分別解讀售貨機利潤、客單價數(shù)據(jù)。對聚合統(tǒng)計好的售貨機的利潤和客單價數(shù)據(jù)，進行解讀。熟悉任務流程整理各售貨機銷售情況的詳細操作步驟如下。1.獲取訂單詳情數(shù)據(jù)獲取訂單詳情數(shù)據(jù)的操作步驟如下。（1）創(chuàng)建整理各售貨機情況轉換工程。使用Ctrl+N快捷鍵，創(chuàng)建【整理各售貨機情況】轉換工程。實現(xiàn)各售貨機銷售情況整理（2）創(chuàng)建CSV文件輸入組件和獲取售貨機客戶訂單詳情數(shù)據(jù)。創(chuàng)建獲取數(shù)據(jù)的CSV文件輸入組件，并將該組件命名為“CSV文件輸入(訂單)”，如圖所示。設置組件參數(shù)，導入訂單詳情“order_details.csv”文件，并設置好字段參數(shù)。（3）預覽獲取的數(shù)據(jù)。選擇【CSV文件輸入(訂單)】組件，預覽訂單詳情數(shù)據(jù)，有關預覽數(shù)據(jù)的操作參閱任務第2小節(jié)。實現(xiàn)各售貨機銷售情況整理整理各售貨機銷售情況的詳細操作步驟如下。2.過濾、關聯(lián)和抽取數(shù)據(jù)計算售貨機的利潤和客單價，只需計算支付成功的售貨機訂單數(shù)據(jù)，因此必須過濾掉支付失敗的售貨機訂單數(shù)據(jù)。過濾、關聯(lián)和抽取數(shù)據(jù)的步驟如下。（1）創(chuàng)建過濾和篩選訂單數(shù)據(jù)組件和連接。創(chuàng)建過濾記錄組件（組件命名為“過濾記錄(支付成功)”）和字段選擇組件，并建立組件之間的連接，如圖所示。實現(xiàn)各售貨機銷售情況整理（2）過濾掉支付失敗的訂單。在【過濾記錄(支付成功)】組件中，設置參數(shù)，保留支付成功的訂單數(shù)據(jù)。（3）進行字段選擇，保留與計算售貨機的利潤和客單價相關的字段，去除多余的字段。在【字段選擇】組件中，對字段進行選擇和修改，在【選擇和修改】選項卡設置參數(shù)，只保留與計算售貨機的利潤和客單價相關的字段，并對字段名稱進行修改。完成【字段選擇】組件參數(shù)設置，如圖所示。實現(xiàn)各售貨機銷售情況整理（4）創(chuàng)建獲取無人售貨機信息、關聯(lián)售貨機與訂單數(shù)據(jù)組件和連接，抽取并修改關聯(lián)后的字段名稱。創(chuàng)建CSV文件輸入組件（組件命名為“CSV文件輸入(售貨機)”），獲取和預覽無人售貨機信息。數(shù)據(jù)預覽結果如圖所示。實現(xiàn)各售貨機銷售情況整理（5）創(chuàng)建記錄關聯(lián)組件和抽取關聯(lián)后的數(shù)據(jù)。創(chuàng)建【記錄關聯(lián)(笛卡爾輸出)】組件，并分別建立與【字段選擇】【CSV文件輸入(售貨機)】組件之間的連接，創(chuàng)建【字段選擇(關聯(lián)后)】組件，并與【記錄關聯(lián)(笛卡爾輸出)】組件建立連接，如圖所示。實現(xiàn)各售貨機銷售情況整理（6）選擇和修改關聯(lián)后的字段名稱。在【記錄關聯(lián)(笛卡爾輸出)】組件中，設置關聯(lián)條件參數(shù)，【字段選擇】組件的售貨機ID和【CSV文件輸入(售貨機)】組件中boxid相等，即“售貨機ID=boxid”，即可將售貨機信息和訂單數(shù)據(jù)關聯(lián)起來。【記錄關聯(lián)(笛卡爾輸出)】組件參數(shù)的設置如圖所示。實現(xiàn)各售貨機銷售情況整理（7）選擇和修改關聯(lián)后的售貨機和訂單數(shù)據(jù)。在【字段選擇(關聯(lián)后)】組件中，設置參數(shù)，選擇和修改與計算售貨機利潤和客單價相關的字段，丟棄其他不必要的字段。完成【字段選擇(關聯(lián)后)】組件參數(shù)設置，如圖所示。實現(xiàn)各售貨機銷售情況整理3.計算售貨機的利潤和裝載數(shù)據(jù)計算售貨機的利潤和裝載數(shù)據(jù)的操作步驟如下。（1）創(chuàng)建計算售貨機利潤的相關組件和連接，創(chuàng)建Excel輸出組件，將結果數(shù)據(jù)裝載至Excel文件中。分別創(chuàng)建【公式(計算商品利潤)】【排序記錄(售貨機ID)】【分組(聚合利潤)】【Excel輸出(利潤)】組件，從【字段選擇(關聯(lián)后)】組件開始，依順序建立新創(chuàng)建組件之間的連接，如圖所示。實現(xiàn)各售貨機銷售情況整理（2）計算訂單中商品的利潤。在【公式(計算商品利潤)】組件中，公式參數(shù)設置為“([商品支付金額]-([商品數(shù)量]*[商品成本價])-[商品優(yōu)惠金額])”，如圖所示。實現(xiàn)各售貨機銷售情況整理（3）對訂單數(shù)據(jù)按照售貨機ID進行排序。聚合計算售貨機利潤必須先對訂單數(shù)據(jù)中售貨機ID進行排序，在【排序記錄(售貨機ID)】組件中，設置參數(shù)，對售貨機ID字段按照升序進行排序。（4）聚合計算售貨機的利潤。在【分組(聚合利潤)】組件中，有關參數(shù)設置如圖所示。實現(xiàn)各售貨機銷售情況整理（5）將聚合計算好的售貨機利潤數(shù)據(jù)裝載至Excel文件中。在【Excel輸出(利潤)】組件中，設置參數(shù)，輸出的Excel文件命名為“無人售貨機利潤.xls”，輸出的字段參數(shù)如表所示。實現(xiàn)各售貨機銷售情況整理名稱類型格式售貨機IDString#售貨機名稱String#售貨機地址String#售貨機利潤Number0.00售貨機銷售金額Number0.004.計算售貨機的客單價和裝載數(shù)據(jù)售貨機的客單價是售貨機的銷售金額除以訂單數(shù)。分析售貨機客戶訂單詳情“order_details.csv”文件中的數(shù)據(jù)，發(fā)現(xiàn)訂單中，客戶每購買一種商品，則生成一條記錄，一個訂單購買多個商品則產(chǎn)生多條訂單記錄。并且，訂單的實際支付金額也分別記錄在paytotalprice字段中，因此必須根據(jù)訂單ID字段過濾掉重復的訂單記錄，才能計算售貨機的訂單數(shù)。計算售貨機