11.1 數(shù)據(jù)說明與存儲(chǔ)

11.1數(shù)據(jù)說明與存儲(chǔ)主講：李強(qiáng)任務(wù)描述業(yè)務(wù)數(shù)據(jù)表有用戶基本信息表、賬單信息表、訂單信息表、用戶狀態(tài)信息變更表以及用戶收視行為信息表，本小節(jié)將對(duì)簡(jiǎn)單介紹這5張業(yè)務(wù)數(shù)據(jù)表，然后存儲(chǔ)數(shù)據(jù)至Hive中。任務(wù)分析廣電業(yè)務(wù)數(shù)據(jù)表的數(shù)據(jù)說明與存儲(chǔ)操作步驟如下。（1）了解5張業(yè)務(wù)數(shù)據(jù)表的表結(jié)構(gòu)，為下一步存儲(chǔ)提供便利。（2）將5張業(yè)務(wù)數(shù)據(jù)表存儲(chǔ)至Hive數(shù)據(jù)庫中，為后續(xù)數(shù)據(jù)探索與處理提供數(shù)據(jù)輸入源。任務(wù)實(shí)施用戶基本信息（mediamatch_usermsg）表結(jié)構(gòu)如表11-1所示，部分?jǐn)?shù)據(jù)如圖11-1所示。表11-1用戶基本信息表結(jié)構(gòu)字段描述terminal_no客戶地址編號(hào)phone_no客戶編號(hào)sm_name品牌名稱run_name狀態(tài)名稱sm_code品牌編號(hào)owner_name客戶等級(jí)名稱owner_code客戶等級(jí)run_time狀態(tài)變更時(shí)間addressoj完整地址estate_name街道或小區(qū)地址force寬帶是否生效open_time開戶時(shí)間任務(wù)實(shí)施圖11-1用戶基本信息表部分記錄任務(wù)實(shí)施用戶狀態(tài)變更信息數(shù)據(jù)（mediamatch_userevent）表結(jié)構(gòu)如表11-2所示，部分?jǐn)?shù)據(jù)如圖11-2所示。表11-2用戶狀態(tài)變更信息數(shù)據(jù)表結(jié)構(gòu)字段描述run_name狀態(tài)名稱run_time更改狀態(tài)時(shí)間owner_code客戶等級(jí)編號(hào)owner_name客戶等級(jí)名稱sm_name品牌名稱open_time開戶時(shí)間phone_no客戶編號(hào)圖11-2用戶狀態(tài)信息變更表部分記錄任務(wù)實(shí)施賬單信息數(shù)據(jù)（mmconsume_billevents）表結(jié)構(gòu)如表11-3所示，部分?jǐn)?shù)據(jù)如圖11-3所示。表11-3賬單信息數(shù)據(jù)表結(jié)構(gòu)圖11-3賬單信息表部分記錄字段描述fee_code費(fèi)用類型phone_no客戶編號(hào)owner_code客戶等級(jí)owner_name客戶等級(jí)編號(hào)sm_name品牌名year_month賬單時(shí)間terminal_no用戶地址編號(hào)favour_fee優(yōu)惠金額（+代表優(yōu)惠，-代表額外費(fèi)用）should_pay應(yīng)收金額，單位：元任務(wù)實(shí)施訂單信息數(shù)據(jù)（order_index）表結(jié)構(gòu)如表11-4所示，部分?jǐn)?shù)據(jù)如圖11-4所示。表11-4訂單信息數(shù)據(jù)表結(jié)構(gòu)圖11-4訂單信息表部分記錄字段描述phone_no用戶編號(hào)owner_name客戶等級(jí)名稱optdate產(chǎn)品訂購狀態(tài)更新時(shí)間Prodname訂購產(chǎn)品名稱sm_name用戶品牌名稱offerid訂購套餐編號(hào)offername訂購套餐名稱business_name訂購業(yè)務(wù)狀態(tài)owner_code客戶等級(jí)prodprcid訂購產(chǎn)品名稱（帶價(jià)格）的編號(hào)prodprcname訂購產(chǎn)品名稱（帶價(jià)格）effdate產(chǎn)品生效時(shí)間expdate產(chǎn)品失效時(shí)間orderdate產(chǎn)品訂購時(shí)間cost訂購產(chǎn)品價(jià)格mode_time產(chǎn)品標(biāo)識(shí)，輔助標(biāo)識(shí)電視主、附銷售品prodstatus訂購產(chǎn)品狀態(tài)run_name狀態(tài)名orderno訂單編號(hào)任務(wù)實(shí)施戶收視行為數(shù)據(jù)（media_index）表結(jié)構(gòu)如表11-5所示，部分?jǐn)?shù)據(jù)如圖11-5所示。表11-5用戶收視行為數(shù)據(jù)表結(jié)構(gòu)圖11-5用戶收視行為表部分記錄字段名描述terminal_no用戶地址編號(hào)phone_no用戶編號(hào)duration觀看時(shí)長，單位：毫秒station_name直播頻道名稱origin_time觀看行為開始時(shí)間end_time觀看行為結(jié)束時(shí)間owner_code客戶等級(jí)owner_name客戶等級(jí)名稱vod_cat_tagsvod節(jié)目包相關(guān)信息（nestedobject）按不同的節(jié)目包目錄組織resolution點(diǎn)播節(jié)目的清晰度audio_lang點(diǎn)播節(jié)目的語言類別region節(jié)目地區(qū)信息res_name設(shè)備名稱res_type媒體節(jié)目類型0是直播，1是點(diǎn)播或回看vod_titlevod節(jié)目名稱category_name節(jié)目所屬分類program_title直播節(jié)目名稱sm_name用戶品牌名稱任務(wù)實(shí)施參考項(xiàng)目1，將5張業(yè)務(wù)數(shù)據(jù)表文件上傳至Linux系統(tǒng)目錄/opt下，使用sed命令刪除數(shù)據(jù)表中的首行字段名，如代碼11-1所示。在Linux系統(tǒng)目錄/opt下創(chuàng)建名為“csv2hive.hql”的文件，用于創(chuàng)建Hive數(shù)據(jù)表與導(dǎo)入相關(guān)數(shù)據(jù)，文件內(nèi)容如表11-6所示。啟動(dòng)Hadoop集群、Hive的MetaStore服務(wù)，在Shell頁面執(zhí)行命令“hive-f/opt/csv2hive.hql”，即可完成5張數(shù)據(jù)表的創(chuàng)建與數(shù)據(jù)導(dǎo)入。代碼11-1刪除首行字段名sed-i'1d'/opt/mediamatch_userevent.csvsed-i'1d'/opt/mediamatch_usermsg.csvsed-i'1d'/opt/media_index.csvsed-i'1d'/opt/mmconsume_billevents.csvsed-i'1d'/opt/order_index.csv表11-6csv2hive.hql文件內(nèi)容createdatabaseuser_profile;useuser_profile;createtablemediamatch_usermsg(terminal_nostring,phone_nostring,sm_namestring,run_namestring,sm_codestring,owner_namestring,owner_codestring,run_timestring,addressojstring,open_timestring,forcestring)rowformatdelimit