電信人口大數(shù)據(jù)項目詳細設計說明書

電信人口大數(shù)據(jù)詳細設計說明書XX科技股份有限公司編制目錄一、 電信人口大數(shù)據(jù)系統(tǒng)軟件模塊設計 4二、 電信人口大數(shù)據(jù)項目系統(tǒng)接口及函數(shù) 41 數(shù)據(jù)生產 41.1.1 數(shù)據(jù)生產函數(shù) 41.2 數(shù)據(jù)采集 51.2.1 數(shù)據(jù)采集接口 51.2.2 數(shù)據(jù)存儲函數(shù) 61.3 數(shù)據(jù)分析 71.3.1 數(shù)據(jù)分析函數(shù) 71.4 可視化展示 71.4.1 用戶接口 71.4.2 菜單接口 81.4.3 角色接口 91.4.4 電信人口流動人口年齡分析接口 91.4.5 電信人口流動人口學歷接口 101.4.6 電信人口流動人口分析接口 111.4.7 電信人口流動人口職業(yè)分析接口 111.4.8 電信人口人口流動地區(qū)分析接口 12三、 電信人口大數(shù)據(jù)系統(tǒng)數(shù)據(jù)格式 121. 數(shù)據(jù)格式設計說明 12四、 電信人口大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫表結構 141. 表結構設計圖 14

電信人口大數(shù)據(jù)系統(tǒng)軟件模塊設計表1電信人口大數(shù)據(jù)模塊設計表序號一級模塊二級模塊三級模塊說明1數(shù)據(jù)生產電信人口數(shù)據(jù)生產2數(shù)據(jù)采集/存儲使用Flume、Kafka組件將電信客戶數(shù)據(jù)存儲到HBASE中3數(shù)據(jù)分析使用MapReduce將HBASE中的數(shù)據(jù)經(jīng)過分析處理之后導入到MySQL中4可視化展示系統(tǒng)管理系統(tǒng)狀態(tài)監(jiān)控、系統(tǒng)信息查看5權限管理資源管理系統(tǒng)菜單管理、路徑管理6角色管理系統(tǒng)使用角色管理、權限管理7用戶管理系統(tǒng)登錄用戶管理8電信人口數(shù)據(jù)分析流動人口年齡分析使用圖形展示不同年齡階段的流動人口的占比和數(shù)量情況。9流動人口學歷分析使用圖形展示流動人口中不同學歷的占比和數(shù)量情況。10流動人口分析使用圖形展示一線城市中的流動人口一年內的數(shù)量變化趨勢情況。11流入人口分析使用圖形展示全國各大區(qū)域內的流入人口一年內的數(shù)量變化趨勢情況。12流入人口性別分析使用圖形展示流入人口性別和流出人口性別的占比和數(shù)量情況。13流動人口職業(yè)分析使用圖形展示一年內流動人口的不同職業(yè)的數(shù)量趨勢情況。14流出人口分析使用圖形展示全國各大區(qū)域內的流出人口一年內的數(shù)量變化趨勢情況。人口流動地區(qū)分析使用圖形展示全國各地城市的流動人口數(shù)量情況。電信人口大數(shù)據(jù)項目系統(tǒng)接口及函數(shù)數(shù)據(jù)生產數(shù)據(jù)生產函數(shù)函數(shù)類duct.test.MockRecords生產類TestMockRecords需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵系統(tǒng)響應系統(tǒng)調用生產函數(shù),設定相應的輸出文件及輸出路徑根據(jù)設定路徑，生產相應的數(shù)據(jù)文件功能需求數(shù)據(jù)生產例外以及相應處理調用的功能數(shù)據(jù)生產注釋和說明數(shù)據(jù)采集數(shù)據(jù)采集接口接口地址/hhrzkg/system/dataCollection用戶類系統(tǒng)需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵系統(tǒng)響應設定flume采集的源文件和數(shù)據(jù)下沉的位置，將數(shù)據(jù)采集到kafka集群中Kafka集群出現(xiàn)相應的數(shù)據(jù)功能需求數(shù)據(jù)采集例外以及相應處理調用的功能數(shù)據(jù)采集注釋和說明數(shù)據(jù)存儲函數(shù)函數(shù)類com.hbase.consumer用戶類HbaseConsumer需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵系統(tǒng)響應設置kafka消費主題，使用HBASE消費數(shù)據(jù)將kafka集群中的待數(shù)據(jù)存儲到HBASE中功能需求數(shù)據(jù)存儲例外以及相應處理調用的功能數(shù)據(jù)存儲注釋和說明數(shù)據(jù)分析數(shù)據(jù)分析函數(shù)函數(shù)類com.bigdata.analysis.runner用戶類CountDurationRunner需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵系統(tǒng)響應配置源HBASE、目標MYSQL數(shù)據(jù)格式，配置清洗策略將HBASE數(shù)據(jù)經(jīng)過分析后存儲MySQL功能需求數(shù)據(jù)分析例外以及相應處理調用的功能數(shù)據(jù)分析注釋和說明可視化展示用戶接口接口地址/hhrzkg/system/admin用戶類系統(tǒng)管理員需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應1.用戶輸入用戶名、密碼1.比對輸入用戶是否存在，并返回相應結果。2.新增用戶；3.刪除用戶；4.修改用戶。功能需求用戶登錄系統(tǒng)、用戶修改信息、管理員新增和刪除用戶例外以及相應處理調用的功能系統(tǒng)登錄、用戶信息修改、新增和刪除用戶注釋和說明菜單接口接口地址/hhrzkg/system/res用戶類系統(tǒng)管理員需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應1.用戶輸入菜單名稱、菜單地址、上級目錄。1.比對輸入菜單是否存在，并返回相應結果。2.新增菜單；3.刪除菜單；4.比對輸入菜單是否存在，不存在即修改菜單。功能需求系統(tǒng)管理員查詢、新增、修改、刪除菜單例外以及相應處理調用的功能菜單查詢、新增、修改、刪除注釋和說明角色接口接口地址/hhrzkg/system/role用戶類系統(tǒng)管理員需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應1.用戶輸入角色名稱、角色權限1.顯示角色名稱、權限等信息2.新增角色；3.刪除角色；4.比對輸入角色是否存在，不存在即修改角色。功能需求用戶授權，系統(tǒng)管理員對角色新增、刪除、修改、查詢例外以及相應處理調用的功能角色查詢、新增、修改、刪除注釋和說明電信人口流動人口年齡分析接口接口地址/hhrzkg/system/age用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應展示不同年齡階段的流動人口的占比和數(shù)量情況。功能需求圖形化展示不同年齡階段的流動人口的占比和數(shù)量情況。例外以及相應處理調用的功能電信人口流動人口年齡分析注釋和說明電信人口流動人口學歷接口接口地址/hhrzkg/system/education用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應展示流動人口中不同學歷的占比和數(shù)量情況。功能需求圖形化展示流動人口中不同學歷的占比和數(shù)量情況。例外以及相應處理調用的功能電信人口流動人口學歷注釋和說明電信人口流動人口分析接口接口地址/hhrzkg/system/flow用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應展示一線城市中的流動人口一年內的數(shù)量變化趨勢情況。功能需求圖形化展示一線城市中的流動人口一年內的數(shù)量變化趨勢情況。例外以及相應處理調用的功能電信人口流動人口分析注釋和說明電信人口流動人口職業(yè)分析接口接口地址/hhrzkg/system/occupation用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應展示一年內流動人口的不同職業(yè)的數(shù)量趨勢情況。功能需求圖形化展示一年內流動人口的不同職業(yè)的數(shù)量趨勢情況。例外以及相應處理調用的功能電信人口流動人口職業(yè)分析注釋和說明電信人口人口流動地區(qū)分析接口接口地址/hhrzkg/system/place用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵系統(tǒng)響應展示全國各地城市的流動人口數(shù)量情況。功能需求圖形化展示全國各地城市的流動人口數(shù)量情況。例外以及相應處理調用的功能電信人口人口流動地區(qū)分析注釋和說明電信人口大數(shù)據(jù)系統(tǒng)數(shù)據(jù)格式數(shù)據(jù)格式設計說明Text類型。Number類型。這些整數(shù)類型擁有額外的選項UNSIGNED。通常，整數(shù)可以是負數(shù)或正數(shù)。如果添加UNSIGNED屬性，那么范圍將從0開始，而不是某個負數(shù)。Date類型。即便DATETIME和TIMESTAMP返